Проксі для Screaming Frog

Screaming Frog SEO Spider — це, без перебільшення, основний робочий інструмент для технічного SEO-аудиту. Ця потужна програма здатна сканувати тисячі URL-адрес, збираючи критично важливі дані про структуру сайту, мета-теги, коди відповіді та багато іншого. Однак при роботі з великими проєктами або аналізі конкурентів кожен фахівець стикається з фундаментальними обмеженнями:

  • Ліміти підключень (Rate Limiting): Великі сайти та CDN (мережі доставки контенту) використовують WAF (Web Application Firewall) для захисту від високого навантаження. Інтенсивне сканування з однієї IP-адреси часто перевищує ліміти сервера, що може призвести до обриву з'єднання або обмеження доступу.

  • Гео-залежний контент: Сайт може віддавати різний контент, ціни або навіть мовні версії залежно від геолокації користувача. Скануючи сайт зі своєї країни, ви ризикуєте не побачити те, що бачить ваша цільова аудиторія, наприклад, у США або Німеччині.

  • Перевірка Cloaking (Клоакінгу): Деякі недобросовісні сайти показують пошуковим роботам (наприклад, Googlebot) одну версію контенту, а реальним користувачам — іншу. Щоб виявити це, необхідно маршрутизувати аналіз через IP-адресу, що асоціюється з регіонами пошукових систем, для перевірки точного відображуваного контенту.

Рішення всіх цих проблем — грамотне налаштування проксі-серверів безпосередньо в Screaming Frog. Це перетворює стандартний сканер на потужний інструмент для комплексного та незалежного від локації SEO-аналізу.

Частина 1. Стратегія: Який проксі потрібен для Screaming Frog?

Вибір проксі залежить від мети сканування. Неправильний вибір призведе або до зайвих витрат, або до миттєвого обриву з'єднання через ліміти сервера.

1. Серверні проксі (Datacenter) — Для своїх проєктів та технічних аудитів

  • Що це: Швидкісні IP з дата-центрів.

  • Для чого: Аудит власних сайтів (де ви можете додати IP до білого списку), перевірка сайтів клієнтів, робота з ресурсами без захисту.

  • Плюси: Максимальна швидкість сканування, низька ціна.

  • Мінуси: Часто піддаються обмеженням на зовнішніх сайтах.

2. Резидентські проксі (ISP/Residential) — Для аналізу конкурентів

  • Що це: IP-адреси реальних домашніх інтернет-провайдерів.

  • Для чого: Сканування сайтів конкурентів, маркетплейсів, агрегаторів.

  • Чому: Ці IP забезпечують стандартну резидентну маршрутизацію. Це дозволяє безперешкодно обробляти великі обсяги сторінок без спрацьовування автоматичних обмежень.

  • 👉 Детальніше про резидентські проксі ви можете почитати тут

3. Мобільні проксі (4G/5G) — Для перевірки мобільної видачі

  • Що це: IP стільникових операторів.

  • Для чого: Перевірка того, як сайт відображається для мобільних користувачів, доступ до строго локалізованого контенту.

  • Чому: Якщо сайт використовує "клоакінг" (показує різний контент десктопам і мобільним), мобільний проксі у зв'язці з User-Agent смартфона допоможе вам перевірити реальний досвід користувача на мобільних пристроях.

  • 👉 Детальніше про мобільні проксі ви можете почитати тут

Частина 2: Покрокове налаштування проксі в Screaming Frog

Процес налаштування інтуїтивно зрозумілий і займе всього кілька хвилин. Вам знадобляться дані вашого проксі: IP-адреса, порт і дані для авторизації (логін/пароль).

Крок 1: Збір облікових даних проксі

Перший і найважливіший крок — переконатися, що у Вас є повний набір даних для авторизації. Ці «ключі» дозволять Вашому додатку або браузеру підключитися к проксі-серверу і спрямувати трафік через нього.

Обов'язково підготуйте наступні дані:

  • IP-адреса (хост-сервер)

  • Порт для підключення

  • Логін і пароль для авторизації

  • Тип протоколу (HTTP/HTTPS або SOCKS5)

Рис. 1. На цьому скріншоті показано, де в особистому кабінеті CyberYozh App знаходяться всі необхідні поля для підключення до проксі-сервера.
Рис. 1. На цьому скріншоті показано, де в особистому кабінеті CyberYozh App знаходяться всі необхідні поля для підключення до проксі-сервера.

Крок 2: Перехід у налаштування проксі

  • Запустіть Screaming Frog SEO Spider.

  • У верхньому меню перейдіть до розділу «File» -> «Settings...» -> «Proxy».

Рис. 2. На цьому скріншоті показано випадаюче меню «File» -> «Settings...», де для переходу до налаштувань необхідно вибрати пункт «Proxy».
Рис. 2. На цьому скріншоті показано випадаюче меню «File» -> «Settings...», де для переходу до налаштувань необхідно вибрати пункт «Proxy».

Крок 3: Активація та введення даних

  • У вікні «Settings», що відкрилося, перейдіть на вкладку «Proxy».

  • Поставте галочку навпроти «Use Proxy Server», щоб активувати функцію.

Рис. 3. На цьому скріншоті показано вікно «Settings», де для активації функції необхідно поставити галочку навпроти «Use Proxy Server».
Рис. 3. На цьому скріншоті показано вікно «Settings», де для активації функції необхідно поставити галочку навпроти «Use Proxy Server».

  • У полі «Address» введіть IP-адресу вашого проксі, а в полі «Port» — його порт.

  • Якщо ваш проксі вимагає авторизації (що є стандартом для якісних проксі), активуйте опцію «Use Proxy Credentials».

Рис. 4. На цьому скріншоті показано процес активації опції «Use Proxy Credentials».
Рис. 4. На цьому скріншоті показано процес активації опції «Use Proxy Credentials».

  • Заповніть поля «Username» та «Password».

  • Після введення всіх даних натисніть кнопку «OK and Restart». Програма автоматично перезапуститься, щоб застосувати нові мережеві налаштування.

Рис. 5. На цьому скріншоті показано фінальний етап збереження налаштувань: після введення всіх даних, включаючи логін і пароль, необхідно натиснути кнопку «OK and Restart».
Рис. 5. На цьому скріншоті показано фінальний етап збереження налаштувань: після введення всіх даних, включаючи логін і пароль, необхідно натиснути кнопку «OK and Restart».

Частина 3: Перевірка та верифікація роботи проксі

Налаштування завершено, але як переконатися, що сканер дійсно працює через проксі? Проведемо простий тестовий краулінг.

Крок 4: Тестове сканування

  • Як цільовий URL ми будемо використовувати спеціалізований сервіс для перевірки IP — https://browserleaks.com/ip. Це дозволить нам точно побачити, з якої IP-адреси надходить запит від Screaming Frog.

  • Вставте цей URL в основне поле і натисніть «Start».

Рис. 6. На цьому скріншоті показана підготовка до тестового сканування: в основне поле програми вставлено URL сайту https://browserleaks.com/ip для перевірки.
Рис. 6. На цьому скріншоті показана підготовка до тестового сканування: в основне поле програми вставлено URL сайту https://browserleaks.com/ip для перевірки.

Крок 5: Аналіз результатів

  • Дочекайтеся завершення сканування. В основному вікні ви побачите список просканованих URL-адрес.

Рис. 7. На цьому скріншоті показано результат сканування. В основному вікні відображається список просканованих URL, а на діаграмі праворуч — розподіл типів контенту.
Рис. 7. На цьому скріншоті показано результат сканування. В основному вікні відображається список просканованих URL, а на діаграмі праворуч — розподіл типів контенту.

  • Щоб наочно побачити, які ресурси запитував сканер, можна використовувати візуалізацію. Натисніть правою кнопкою миші на основний URL (https://browserleaks.com/ip), виберіть «Visualisations» -> «Crawl Tree Graph».

Рис. 8. На цьому скріншоті показано спосіб візуалізації результатів: через контекстне меню для основного URL вибирається пункт «Visualisations» -> «Crawl Tree Graph».
Рис. 8. На цьому скріншоті показано спосіб візуалізації результатів: через контекстне меню для основного URL вибирається пункт «Visualisations» -> «Crawl Tree Graph».

Крок 6: Візуальна верифікація

  • Відкриється граф зв'язків. На ньому ви побачите, що browserleaks.com запитував дані у зовнішньої IP-адреси (в нашому прикладі 87.192.224.71). Це і є IP-адреса, яку «бачить» цільовий сайт, тобто IP вашого проксі.

Рис. 9. На цьому скріншоті показано граф зв'язків «Crawl Tree Graph», який наочно демонструє, що запити від сканера йдуть на зовнішню IP-адресу, що належить проксі-серверу.
Рис. 9. На цьому скріншоті показано граф зв'язків «Crawl Tree Graph», який наочно демонструє, що запити від сканера йдуть на зовнішню IP-адресу, що належить проксі-серверу.

  • Для стовідсоткової впевненості ви можете відкрити browserleaks.com/ip у звичайному браузері, налаштованому на той самий проксі. Ви побачите ту саму інформацію, що підтверджує — Screaming Frog успішно працює через заданий вами проксі-сервер.

Рис. 10. На цьому скріншоті показано приклад перевірки зовнішньої IP-адреси 87.192.224.71 через сервіс browserleaks.com, що дозволяє переконатися, яку IP бачить кінцевий сервер.
Рис. 10. На цьому скріншоті показано приклад перевірки зовнішньої IP-адреси 87.192.224.71 через сервіс browserleaks.com, що дозволяє переконатися, яку IP бачить кінцевий сервер.

Висновок

Чудово! Ви успішно налаштували Screaming Frog для роботи через проксі. Тепер ви можете проводити глибокий і безперешкодний SEO-аудит будь-якого масштабу, без переривань з'єднання та отримуючи доступ до даних саме в тому вигляді, в якому їх бачать користувачі з будь-якої точки світу. Ця навичка є невід'ємною частиною арсеналу сучасного професійного SEO-фахівця.

👉 Шукаєте надійні проксі для Screaming Frog? Для завдань сканування ідеально підходять високошвидкісні дата-центрові або резидентські проксі. У каталозі CyberYozh App ви знайдете стабільні проксі, які забезпечать безперебійну роботу вашого SEO-павука.