Ética e lei: «white» parsing. Como recolher dados de sites sem infringir a lei e as regras (robots.txt, Termos de Serviço).

Roman

Nov 26, 2025

Proxy

O web scraping (parsing) percorreu um longo caminho desde o «velho oeste» dos anos 2000 até à indústria moderna com regras rígidas. Hoje, a recolha de dados é a base do comércio eletrónico, do treino de IA e da análise de marketing.

Mas há um problema: os sites não querem ceder os seus dados de graça. Eles protegem-se legalmente (Termos de Serviço) e tecnicamente (sistemas Anti-Bot).

Como recolher informações legalmente? Onde está a linha divisória entre análise e ataque DDoS? E por que o cumprimento do `robots.txt` não é apenas uma questão de cortesia, mas uma questão de sobrevivência do seu negócio?

Neste artigo, analisaremos o código de honra do parser «branco» e as regras técnicas que o protegerão de problemas com a lei.

---

#### **Parte 1. O que é parsing «branco»?**

Parsing «branco» é a recolha de dados **públicos**, respeitando as regras do site doador e a legislação sobre dados pessoais.

**Os três pilares da legalidade:**

1. **Os dados são públicos:** Você não invade contas, não descobre senhas e não contorna paywalls (barreiras de acesso pago). Você pega o que qualquer visitante não registrado pode ver.
2. **Você não prejudica o site:** o seu script não sobrecarrega o servidor (não faz DDoS) e não atrapalha o trabalho dos usuários reais.
3. **Não viola direitos de autor:** recolhe dados (factos, preços), e não conteúdo (textos de autor, fotos) para republicar em seu nome.

**Nuance importante:** a recolha de dados pessoais (nome completo, telefones, e-mails de pessoas físicas) é um campo minado. Na UE, está em vigor o GDPR (em Portugal, implementado através da Lei 58/2019). Se você estiver a analisar a base de utilizadores para enviar spam, isso é **análise «negra»**, ilegal por definição.

---

#### **Parte 2. Etiqueta técnica: Robots.txt e User-Agent**

Antes de iniciar o analisador, é necessário «bater à porta».

##### **1. Ficheiro `robots.txt`: Lei ou recomendação?**

É um ficheiro de texto na raiz de qualquer site (`site.com/robots.txt`). São instruções para robôs.

* **O que procurar lá:**
  * `User-agent: *` — regras para todos os bots.
  * `Disallow: /admin/` — não é permitido entrar aqui.
  * `Crawl-delay: 10` — faça uma pausa de 10 segundos entre as solicitações.

**Isso é lei?** Legalmente — não (na maioria dos países). **Vale a pena cumprir?** Tecnicamente — **obrigatoriamente**. Se o `robots.txt` proibir a varredura e você ignorar essa proibição, os sistemas de proteção do site classificarão o seu tráfego como malicioso. O resultado — banimento instantâneo do IP.

##### **2. User-Agent: Não se faça passar por quem não é**

Muitos analisadores se mascaram como `Chrome/120.0...`. Na análise «branca», é considerado bom senso usar o **seu** User-Agent, no qual estão indicados os contactos do proprietário do bot.

* *Exemplo:* `MyPriceBot/1.0 (+http://mysite.com/bot-contact)` Isso mostra ao administrador do site que não é um invasor e dá a ele uma maneira de entrar em contacto consigo, caso o seu bot crie uma carga, em vez de banir imediatamente a sua sub-rede.

---

#### **Parte 3. Armadilha jurídica: Termos de Serviço (ToS)**

Se o `robots.txt` é uma placa de «Não entrar», então os **Termos de Serviço (Acordo de Utilizador)** são um contrato.

A zona mais perigosa é a análise **após a autorização**. Quando se regista num site e assinala a opção «Concordo com os termos», está a celebrar um contrato legal. Se os termos indicarem «É proibida qualquer recolha automatizada de dados» (como é o caso do Facebook, LinkedIn e Instagram), então iniciar o analisador dentro da sua conta é uma **violação do contrato**.

**Consequências:**

1. Banimento da conta sem direito a recuperação.
2. Em casos raros — ação judicial por violação dos termos do contrato.

**Regra do parser «branco»:** Tente coletar dados **sem autorização**. Os dados públicos (preços, catálogos) não são protegidos pela lei de direitos autorais (os factos não são protegidos por direitos autorais), e os tribunais (por exemplo, o caso *HiQ Labs vs LinkedIn*) frequentemente tomam o partido dos parsers, se os dados estiverem em acesso público.

---

#### **Parte 4. Como não bloquear o site: Limitação de taxa**

A causa mais comum de bloqueio não é *o que* você baixa, mas *a rapidez* com que você faz isso.

Se você enviar 100 solicitações por segundo para uma pequena loja online, você não será um analista para ela, mas um ataque DDoS.

**Regras de cortesia:**

1. **Limite as solicitações:** faça pausas (sleep) entre as solicitações.
2. **Acompanhe os códigos de resposta:** se o site começar a retornar `429 Too Many Requests` ou `503 Service Unavailable`, o seu script deve **parar imediatamente** e aumentar o atraso. Continuar a martelar um servidor «caído» é uma falta de educação técnica.
3. **Faça a análise à noite:** Carregue o site de destino nas horas de menor atividade dos seus utilizadores reais.

---

#### **Parte 5. Infraestrutura: O papel do proxy na análise ética**

Mesmo que você siga todas as regras, a recolha de grandes volumes de dados a partir de um único endereço IP levantará suspeitas nos sistemas de proteção (WAF).

Para distribuir a carga e não ser capturado pelos filtros automáticos, é necessário usar **proxies de qualidade**.

**Que tipo escolher para uma análise «branca»?**

1. **Proxies de servidor (Datacenter):** ideais para a **recolha em massa de dados abertos** (catálogos, preços) de sites que não têm proteção rígida. São baratos, rápidos e permitem cumprir a ética (não sobrecarregar a rede dos utilizadores domésticos).
2. **Proxies residenciais (Residential):** Necessários para sites com limites rígidos. Permitem que as suas solicitações pareçam solicitações de pessoas diferentes de regiões diferentes.
   * *Questão ética:* Use apenas proxies residenciais éticos (Ethical Proxy Networks), onde os utilizadores deram consentimento para o uso do seu tráfego.

Na **CyberYozh App**, monitoramos rigorosamente a limpeza dos nossos pools. Fornecemos ferramentas para uma análise ética:

* **Rotação de IP:** para não sobrecarregar um único endereço.
* **Segmentação geográfica precisa:** para obter dados relevantes sem solicitações desnecessárias.

---

### **Conclusão: a reputação é mais valiosa do que os dados**

A análise «branca» é um jogo de longo prazo. Ao violar as regras, ignorar o `robots.txt` e fazer DDOS em sites, pode obter dados mais rapidamente, mas corre o risco de perder o acesso à fonte para sempre.

Respeite a etiqueta técnica, respeite os recursos do doador e use a infraestrutura correta. Essa é a única maneira de construir um negócio sustentável com base em dados.

👉 **Está a construir um analisador legal?** Garanta uma base confiável. Escolha os [**proxies de servidor ou residentes adequados no catálogo CyberYozh App**](https://app.cyberyozh.com/pt/catalog/). Ajudaremos você a expandir a coleta de dados, permanecendo no lado bom da força.

Útil?

Partilhar o artigo!

Ainda não está conosco?

Inscreva-se para ter acesso a todos os recursos do site.

Inscrever-se