Прокси для Screaming Frog

Screaming Frog SEO Spider — это, без преувеличения, основной рабочий инструмент для технического SEO-аудита. Эта мощная программа способна сканировать тысячи URL-адресов, собирая критически важные данные о структуре сайта, мета-тегах, кодах ответа и многом другом. Однако при работе с крупными проектами или анализе конкурентов каждый специалист сталкивается с фундаментальными ограничениями:

  • Лимиты подключений (Rate Limiting): Крупные сайты и CDN (сети доставки контента) используют WAF (Web Application Firewall) для защиты от высокой нагрузки. Интенсивное сканирование с одного IP-адреса часто превышает лимиты сервера, что может привести к обрыву соединения или ограничению доступа.

  • Гео-зависимый контент: Сайт может отдавать разный контент, цены или даже языковые версии в зависимости от геолокации пользователя. Сканируя сайт из своей страны, вы рискуете не увидеть то, что видит ваша целевая аудитория, например, в США или Германии.

  • Проверка Cloaking (Клоакинга): Некоторые недобросовестные сайты показывают поисковым роботам (например, Googlebot) одну версию контента, а реальным пользователям — другую. Чтобы обнаружить это, необходимо маршрутизировать анализ через IP-адрес, ассоциирующийся с регионами поисковых систем, для проверки точного отображаемого контента.

Решение всех этих проблем — грамотная настройка прокси-серверов непосредственно в Screaming Frog. Это превращает стандартный сканер в мощный инструмент для комплексного и независимого от локации SEO-анализа.

Часть 1. Стратегия: Какой прокси нужен для Screaming Frog?

Выбор прокси зависит от цели сканирования. Неправильный выбор приведет либо к лишним расходам, либо к мгновенному обрыву соединения из-за лимитов сервера.

1. Серверные прокси (Datacenter) — Для своих проектов и технических аудитов

  • Что это: Скоростные IP из дата-центров.

  • Для чего: Аудит собственных сайтов (где вы можете добавить IP в белый список), проверка сайтов клиентов, работа с ресурсами без защиты.

  • Плюсы: Максимальная скорость сканирования, низкая цена.

  • Минусы: Часто подвергаются ограничениям на внешних сайтах.

2. Резидентские прокси (ISP/Residential) — Для анализа конкурентов

  • Что это: IP-адреса реальных домашних интернет провайдеров.

  • Для чего: Сканирование сайтов конкурентов, маркетплейсов, агрегаторов.

  • Почему: Эти IP обеспечивают стандартную резидентную маршрутизацию. Это позволяет беспрепятственно обрабатывать большие объемы страниц без срабатывания автоматических ограничений.

  • 👉 Подробнее о резидентских прокси вы можете почитать здесь

3. Мобильные прокси (4G/5G) — Для проверки мобильной выдачи

  • Что это: IP сотовых операторов.

  • Для чего: Проверка того, как сайт отображается для мобильных пользователей, доступ к строго локализованному контенту.

  • Почему: Если сайт использует "клоакинг" (показывает разный контент десктопам и мобильным), мобильный прокси в связке с User-Agent смартфона поможет вам проверить реальный пользовательский опыт на мобильных устройствах.

  • 👉 Подробнее о мобильных прокси вы можете почитать здесь

Часть 2: Пошаговая настройка прокси в Screaming Frog

Процесс настройки интуитивно понятен и займёт всего несколько минут. Вам понадобятся данные вашего прокси: IP-адрес, порт и данные для авторизации (логин/пароль).

Шаг 1: Сбор учётных данных прокси

Первый и самый важный шаг — убедиться, что у Вас есть полный набор данных для авторизации. Эти «ключи» позволят Вашему приложению или браузеру подключиться к прокси-серверу и направить трафик через него.

Обязательно подготовьте следующие данные:

  • IP-адрес (хост-сервер)

  • Порт для подключения

  • Логин и пароль для авторизации

  • Тип протокола (HTTP/HTTPS или SOCKS5)

Рис. 1. На этом скриншоте показано, где в личном кабинете CyberYozh App находятся все необходимые поля для подключения к прокси-серверу.
Рис. 1. На этом скриншоте показано, где в личном кабинете CyberYozh App находятся все необходимые поля для подключения к прокси-серверу.

Шаг 2: Переход в настройки прокси

  • Запустите Screaming Frog SEO Spider.

  • В верхнем меню перейдите в раздел «File» -> «Settings...» -> «Proxy».

Рис. 2. На этом скриншоте показано выпадающее меню «File» -> «Settings...», где для перехода к настройкам необходимо выбрать пункт «Proxy».
Рис. 2. На этом скриншоте показано выпадающее меню «File» -> «Settings...», где для перехода к настройкам необходимо выбрать пункт «Proxy».

Шаг 3: Активация и ввод данных

  • В открывшемся окне «Settings» перейдите на вкладку «Proxy».

  • Поставьте галочку напротив «Use Proxy Server», чтобы активировать функцию.

Рис. 3. На этом скриншоте показано окно «Settings», где для активации функции необходимо поставить галочку напротив «Use Proxy Server».
Рис. 3. На этом скриншоте показано окно «Settings», где для активации функции необходимо поставить галочку напротив «Use Proxy Server».

  • В поле «Address» введите IP-адрес вашего прокси, а в поле «Port» — его порт.

  • Если ваш прокси требует авторизации (что является стандартом для качественных прокси), активируйте опцию «Use Proxy Credentials».

Рис. 4. На этом скриншоте показан процесс активации опции «Use Proxy Credentials».
Рис. 4. На этом скриншоте показан процесс активации опции «Use Proxy Credentials».

  • Заполните поля «Username» и «Password».

  • После ввода всех данных нажмите кнопку «OK and Restart». Программа автоматически перезапустится, чтобы применить новые сетевые настройки.

Рис. 5. На этом скриншоте показан финальный этап сохранения настроек: после ввода всех данных, включая логин и пароль, необходимо нажать кнопку «OK and Restart».
Рис. 5. На этом скриншоте показан финальный этап сохранения настроек: после ввода всех данных, включая логин и пароль, необходимо нажать кнопку «OK and Restart».

Часть 3: Проверка и верификация работы прокси

Настройка завершена, но как убедиться, что сканер действительно работает через прокси? Проведём простой тестовый краулинг.

Шаг 4: Тестовое сканирование

  • В качестве целевого URL мы будем использовать специализированный сервис для проверки IP — https://browserleaks.com/ip. Это позволит нам точно увидеть, с какого IP-адреса приходит запрос от Screaming Frog.

  • Вставьте этот URL в основное поле и нажмите «Start».

Рис. 6. На этом скриншоте показана подготовка к тестовому сканированию: в основное поле программы вставлен URL сайта https://browserleaks.com/ip для проверки.
Рис. 6. На этом скриншоте показана подготовка к тестовому сканированию: в основное поле программы вставлен URL сайта https://browserleaks.com/ip для проверки.

Шаг 5: Анализ результатов

  • Дождитесь завершения сканирования. В основном окне вы увидите список просканированных URL-адресов.

Рис. 7. На этом скриншоте показан результат сканирования. В основном окне отображается список просканированных URL, а на диаграмме справа — распределение типов контента.
Рис. 7. На этом скриншоте показан результат сканирования. В основном окне отображается список просканированных URL, а на диаграмме справа — распределение типов контента.

  • Чтобы наглядно увидеть, какие ресурсы запрашивал сканер, можно использовать визуализацию. Кликните правой кнопкой мыши по основному URL (https://browserleaks.com/ip), выберите «Visualisations» -> «Crawl Tree Graph».

Рис. 8. На этом скриншоте показан способ визуализации результатов: через контекстное меню для основного URL выбирается пункт «Visualisations» -> «Crawl Tree Graph».
Рис. 8. На этом скриншоте показан способ визуализации результатов: через контекстное меню для основного URL выбирается пункт «Visualisations» -> «Crawl Tree Graph».

Шаг 6: Визуальная верификация

  • Откроется граф связей. На нём вы увидите, что browserleaks.com запрашивал данные у внешнего IP-адреса (в нашем примере 87.192.224.71). Это и есть IP-адрес, который «видит» целевой сайт, то есть IP вашего прокси.

Рис. 9. На этом скриншоте показан граф связей «Crawl Tree Graph», который наглядно демонстрирует, что запросы от сканера уходят на внешний IP-адрес, принадлежащий прокси-серверу.
Рис. 9. На этом скриншоте показан граф связей «Crawl Tree Graph», который наглядно демонстрирует, что запросы от сканера уходят на внешний IP-адрес, принадлежащий прокси-серверу.

  • Для стопроцентной уверенности вы можете открыть browserleaks.com/ip в обычном браузере, настроенном на тот же прокси. Вы увидите ту же самую информацию, что подтверждает — Screaming Frog успешно работает через заданный вами прокси-сервер.

Рис. 10. На этом скриншоте показан пример проверки внешнего IP-адреса 87.192.224.71 через сервис browserleaks.com, что позволяет убедиться, какой IP видит конечный сервер.
Рис. 10. На этом скриншоте показан пример проверки внешнего IP-адреса 87.192.224.71 через сервис browserleaks.com, что позволяет убедиться, какой IP видит конечный сервер.

Заключение

Отлично! Вы успешно настроили Screaming Frog для работы через прокси. Теперь вы можете проводить глубокий и беспрепятственный SEO-аудит любого масштаба, без прерываний соединения и получая доступ к данным именно в том виде, в каком их видят пользователи из любой точки мира. Этот навык является неотъемлемой частью арсенала современного профессионального SEO-специалиста.

👉 Ищете надёжные прокси для Screaming Frog? Для задач сканирования идеально подходят высокоскоростные дата-центровые или резидентские прокси. В каталоге CyberYozh App вы найдёте стабильные прокси, которые обеспечат бесперебойную работу вашего SEO-паука.