Proxy para Screaming Frog

Screaming Frog SEO Spider — é, sem exagero, a principal ferramenta de trabalho para auditorias técnicas de SEO. Este programa poderoso é capaz de rastrear milhares de URLs, coletando dados críticos sobre a estrutura do site, meta tags, códigos de resposta e muito mais. No entanto, ao trabalhar com grandes projetos ou analisar a concorrência, todo especialista enfrenta limitações fundamentais:

  • Limites de conexão (Rate Limiting): Grandes sites e CDNs (redes de entrega de conteúdo) utilizam WAF (Web Application Firewall) para proteção contra cargas elevadas. O rastreamento intensivo de um único endereço IP frequentemente excede os limites do servidor, o que pode levar à interrupção da conexão ou restrição de acesso.

  • Conteúdo geo-dependente: Um site pode exibir diferentes conteúdos, preços ou até versões de idiomas dependendo da geolocalização do usuário. Ao rastrear um site do seu próprio país, você corre o risco de não ver o que o seu público-alvo vê em, por exemplo, nos EUA ou na Alemanha.

  • Verificação de Cloaking (Mascaramento): Alguns sites mal-intencionados mostram uma versão do conteúdo para robôs de busca (como o Googlebot) e outra para usuários reais. Para detectar isso, é necessário rotear a análise através de um endereço IP associado às regiões dos mecanismos de busca para verificar o conteúdo exato exibido.

A solução para todos esses problemas é a configuração correta de servidores proxy diretamente no Screaming Frog. Isso transforma o rastreador padrão em uma ferramenta poderosa para análise de SEO abrangente e independente de localização.

Parte 1. Estratégia: Qual proxy você precisa para o Screaming Frog?

A escolha do proxy depende do objetivo do rastreamento. Uma escolha errada levará a gastos desnecessários ou à interrupção instantânea da conexão devido aos limites do servidor.

1. Proxies de Data Center (Datacenter) — Para projetos próprios e auditorias técnicas

  • O que são: IPs de alta velocidade provenientes de centros de dados.

  • Para que servem: Auditoria de sites próprios (onde você pode adicionar o IP à lista de permissões), verificação de sites de clientes, trabalho com recursos sem proteção.

  • Prós: Velocidade máxima de rastreamento, preço baixo.

  • Contras: Frequentemente sujeitos a restrições em sites externos.

2. Proxies Residenciais (ISP/Residential) — Para análise de concorrentes

  • O que são: Endereços IP de provedores de internet domésticos reais.

  • Para que servem: Rastreamento de sites de concorrentes, marketplaces, agregadores.

  • Por que: Esses IPs fornecem um roteamento residencial padrão. Isso permite processar grandes volumes de páginas sem ativar restrições automáticas.

  • 👉 Você pode ler mais sobre proxies residenciais aqui

3. Proxies Móveis (4G/5G) — Para verificar resultados móveis

  • O que são: IPs de operadoras de telefonia móvel.

  • Para que servem: Verificação de como o site é exibido para usuários móveis, acesso a conteúdo estritamente localizado.

  • Por que: Se o site utiliza "cloaking" (mostra conteúdo diferente para desktop e mobile), um proxy móvel em conjunto com um User-Agent de smartphone ajudará você a verificar a experiência real do usuário em dispositivos móveis.

  • 👉 Você pode ler mais sobre proxies móveis aqui

Parte 2: Configuração passo a passo do proxy no Screaming Frog

O processo de configuração é intuitivo e levará apenas alguns minutos. Você precisará dos dados do seu proxy: endereço IP, porta e dados de autorização (usuário/senha).

Passo 1: Coleta de credenciais do proxy

O primeiro e mais importante passo é garantir que você tenha o conjunto completo de dados de autorização. Essas «chaves» permitirão que seu aplicativo ou navegador se conecte ao servidor proxy e direcione o tráfego através dele.

Certifique-se de preparar os seguintes dados:

  • Endereço IP (servidor host)

  • Porta para conexão

  • Usuário e senha para autorização

  • Tipo de protocolo (HTTP/HTTPS ou SOCKS5)

Fig. 1. Esta captura de tela mostra onde todos os campos necessários para se conectar a um servidor proxy estão localizados no painel do CyberYozh App.
Fig. 1. Esta captura de tela mostra onde todos os campos necessários para se conectar a um servidor proxy estão localizados no painel do CyberYozh App.

Passo 2: Acessar as configurações de proxy

  • Inicie o Screaming Frog SEO Spider.

  • No menu superior, vá para a seção «File» -> «Settings...» -> «Proxy».

Fig. 2. Esta captura de tela mostra o menu suspenso «File» -> «Settings...», onde você deve selecionar o item «Proxy» para acessar as configurações.
Fig. 2. Esta captura de tela mostra o menu suspenso «File» -> «Settings...», onde você deve selecionar o item «Proxy» para acessar as configurações.

Passo 3: Ativação e entrada de dados

  • Na janela «Settings» que se abre, vá para a guia «Proxy».

  • Marque a caixa ao lado de «Use Proxy Server» para ativar a função.

Fig. 3. Esta captura de tela mostra a janela «Settings», onde você deve marcar a caixa ao lado de «Use Proxy Server» para ativar a função.
Fig. 3. Esta captura de tela mostra a janela «Settings», onde você deve marcar a caixa ao lado de «Use Proxy Server» para ativar a função.

  • No campo «Address» insira o endereço IP do seu proxy e no campo «Port» a sua porta.

  • Se o seu proxy exigir autorização (o que é padrão para proxies de qualidade), ative a opção «Use Proxy Credentials».

Fig. 4. Esta captura de tela mostra o processo de ativação da opção «Use Proxy Credentials».
Fig. 4. Esta captura de tela mostra o processo de ativação da opção «Use Proxy Credentials».

  • Preencha os campos «Username» e «Password».

  • Após inserir todos os dados, clique no botão «OK and Restart». O programa reiniciará automaticamente para aplicar as novas configurações de rede.

Fig. 5. Esta captura de tela mostra a etapa final de salvamento das configurações: após inserir todos os dados, incluindo usuário e senha, você deve clicar no botão «OK and Restart».
Fig. 5. Esta captura de tela mostra a etapa final de salvamento das configurações: após inserir todos os dados, incluindo usuário e senha, você deve clicar no botão «OK and Restart».

Parte 3: Verificação e validação do funcionamento do proxy

A configuração está concluída, mas como garantir que o rastreador está realmente funcionando através do proxy? Vamos realizar um rastreamento de teste simples.

Passo 4: Rastreamento de teste

  • Como URL de destino, utilizaremos um serviço especializado para verificar o IP — https://browserleaks.com/ip. Isso nos permitirá ver exatamente de qual endereço IP a solicitação do Screaming Frog está vindo.

  • Cole esta URL no campo principal e clique em «Start».

Fig. 6. Esta captura de tela mostra a preparação para o rastreamento de teste: a URL do site https://browserleaks.com/ip foi inserida no campo principal do programa para verificação.
Fig. 6. Esta captura de tela mostra a preparação para o rastreamento de teste: a URL do site https://browserleaks.com/ip foi inserida no campo principal do programa para verificação.

Passo 5: Análise dos resultados

  • Aguarde a conclusão do rastreamento. Na janela principal, você verá uma lista das URLs rastreadas.

Fig. 7. Esta captura de tela mostra o resultado do rastreamento. A janela principal exibe a lista de URLs rastreadas e o diagrama à direita mostra a distribuição dos tipos de conteúdo.
Fig. 7. Esta captura de tela mostra o resultado do rastreamento. A janela principal exibe a lista de URLs rastreadas e o diagrama à direita mostra a distribuição dos tipos de conteúdo.

  • Para visualizar de forma clara quais recursos o rastreador solicitou, você pode usar a visualização. Clique com o botão direito na URL principal (https://browserleaks.com/ip), selecione «Visualisations» -> «Crawl Tree Graph».

Fig. 8. Esta captura de tela mostra uma forma de visualizar os resultados: através do menu de contexto para a URL principal, seleciona-se o item «Visualisations» -> «Crawl Tree Graph».
Fig. 8. Esta captura de tela mostra uma forma de visualizar os resultados: através do menu de contexto para a URL principal, seleciona-se o item «Visualisations» -> «Crawl Tree Graph».

Passo 6: Verificação visual

  • Um gráfico de conexões será aberto. Nele, você verá que o browserleaks.com solicitou dados de um endereço IP externo (em nosso exemplo, 87.192.224.71). Este é o endereço IP que o site de destino «vê», ou seja, o IP do seu proxy.

Fig. 9. Esta captura de tela mostra o gráfico «Crawl Tree Graph», que demonstra claramente que as solicitações do rastreador vão para um endereço IP externo pertencente ao servidor proxy.
Fig. 9. Esta captura de tela mostra o gráfico «Crawl Tree Graph», que demonstra claramente que as solicitações do rastreador vão para um endereço IP externo pertencente ao servidor proxy.

  • Para ter 100% de certeza, você pode abrir browserleaks.com/ip em um navegador comum configurado com o mesmo proxy. Você verá a mesma informação, o que confirma que o Screaming Frog está funcionando com sucesso através do servidor proxy definido.

Fig. 10. Esta captura de tela mostra um exemplo de verificação do endereço IP externo 87.192.224.71 através do serviço browserleaks.com, permitindo confirmar qual IP o servidor final vê.
Fig. 10. Esta captura de tela mostra um exemplo de verificação do endereço IP externo 87.192.224.71 através do serviço browserleaks.com, permitindo confirmar qual IP o servidor final vê.

Conclusão

Excelente! Você configurou com sucesso o Screaming Frog para trabalhar através de um proxy. Agora você pode realizar auditorias de SEO profundas e sem obstáculos em qualquer escala, sem interrupções de conexão e acessando os dados exatamente como os usuários os veem de qualquer lugar do mundo. Essa habilidade é uma parte indispensável do arsenal de um especialista em SEO profissional moderno.

👉 Procurando proxies confiáveis para o Screaming Frog? Para tarefas de rastreamento, os proxies de data center de alta velocidade ou proxies residenciais são ideais. No catálogo do CyberYozh App, você encontrará proxies estáveis que garantirão a operação ininterrupta do seu rastreador de SEO.