Скрин-скрейпинг и парсинг данных: инструменты, примеры на Python и автоматизация

На карточке товара в интернет-магазине всегда видны название, цена и статус наличия. Но чтобы регулярно отслеживать динамику цен и сравнивать ассортимент конкурентов, эти данные нужно автоматически собирать в удобную таблицу или базу данных.

Вы узнаете, как выбрать подходящий способ извлечения данных, отсеять ошибки в полученных значениях и сохранить чистый результат. После базовой настройки мы разберём готовый скрипт на Python, настроим автоматический запуск по расписанию и покажем, какие прокси подключить для работы с региональной выдачей.

Что такое скрин-скрейпинг и сбор данных из интерфейса

Скрин-скрейпинг автоматически считывает информацию, выведенную на экран для человека, и превращает её в структурированные данные для других программ. Скрейпер забирает текст из элементов интерфейса и сохраняет его в виде строк таблицы или полей JSON-файла.

Механика работы зависит от того, откуда именно вы забираете данные:

• Веб-страницы: реальный или фоновый (headless) браузер полностью загружает страницу со всеми скриптами, после чего скрейпер забирает название товара, цену и остатки из готовой вёрстки (DOM-дерева).

• Старые десктопные программы (Legacy-системы): скрипты автоматизации считывают складские остатки или карточки клиентов прямо из окон старого офисного софта, в котором нет API или выгрузки в Excel.

• Изображения и скан-копии: модуль оптического распознавания (OCR) находит текст на скриншотах и переводит пиксели в обычные печатные символы.

Как работает скрейпинг веб-страниц на практике

Возьмём типичную карточку товара на маркетплейсе. Браузер загружает страницу, правила выбора находят нужные блоки, а проверка (валидация) отсеивает пустые строки. Весь процесс состоит из пяти шагов:

1. Откройте страницу. Перейдите по целевому URL с нужным региональным IP и настроенной сессией.

2. Дождитесь подгрузки динамических блоков. Убедитесь, что скрипты сайта успели вывести на экран цену и статус наличия до того, как скрейпер начнёт чтение.

3. Извлеките нужные поля. Считайте название товара, цену, валюту и статус остатков по заданным CSS-селекторам или XPath.

4. Проверьте полученные значения. Отфильтруйте пустые поля, неверную региональную валюту или текст ошибки, случайно попавший вместо названия товара.

5. Сохраните чистую запись. Запишите результат в базу вместе с исходной ссылкой и точным временем сбора (timestamp), чтобы данные можно было сравнивать в динамике.

При работе со сложными площадками ваш скрейпер для Amazon или другого маркетплейса может сохранять собранные поля вместе со скриншотом открытой страницы. Это сильно экономит время при отладке. Если в базу вдруг записалась пустая цена, вы просто открываете сохранённый снимок экрана и сразу видите причину: изменилась вёрстка, выскочило окно выбора региона или не прогрузился скрипт.

Парсинг HTML, браузерный скрейпинг и API: что выбрать

Всегда начинайте с самого простого и нетребовательного к ресурсам способа. Сначала проверьте, есть ли у площадки официальный API или встроенная выгрузка прайс-листа в CSV, Excel или XML-фид. Если готового экспорта на сайте нет, откройте исходный код страницы: приходят ли цены сразу в статичном HTML от сервера или подгружаются через JavaScript только внутри браузера.

Как видно из таблицы, скрин-скрейпинг и веб-скрейпинг тесно пересекаются. Когда вы открываете сайт через автоматизированный браузер и забираете данные из отрисованных элементов страницы, это классический браузерный веб-скрейпинг. Запускать для этого распознавание текста по пикселям (OCR) не нужно, пока сам текст доступен внутри HTML-разметки.

Инструменты для скрейпинга: выбор под источник данных

Выбор инструментов для скрейпинга зависит от того, откуда именно вы забираете данные. Для работы с веб-страницами и распознавания текста со скриншотов хватит бесплатных опенсорсных решений, а для старых офисных программ на Windows понадобятся системы автоматизации рабочих столов (RPA).

Yozh Scraper: готовый сервис для браузерного скрейпинга

Yozh Scraper - это бесплатный self-hosted сервис с собственным REST API, построенный на базе Playwright. Он открывает страницы в реальном браузерном движке и возвращает извлечённые по CSS/XPath поля, чистый Markdown для нейросетей, исходный HTML-код и полные скриншоты страниц. А система готовых пресетов и фоновой очереди задач (batch-запросов) позволяет один раз настроить правила сбора и запускать их по API.

Сам скрейпер и модуль краулера запускаются одной командой в Docker, а для ручной настройки и проверки запросов в репозитории есть удобный веб-интерфейс (Scraper Tester) на Node.js. Проект полностью бесплатный (лицензия MIT): вы можете развернуть его на своём компьютере и протестировать локально без каких-либо затрат. Расходы возникают только при выходе на рабочие объёмы, когда вам понадобятся серверный хостинг, прокси и API-ключи нейросетей (если вы захотите генерировать селекторы через ИИ).

Playwright: прямое управление браузером из кода на Python

Выбирайте пакет Playwright напрямую, если хотите сами написать скрипт на Python для нестандартных сценариев: кликов по кнопкам, прокрутки бесконечной ленты или выбора фильтров. В этом случае Playwright отвечает за запуск браузера и действия на странице, но весь код для парсинга селекторов, проверки пустых полей и сохранения файлов вам предстоит написать вручную.

Tesseract: распознавание текста с картинок и скриншотов

Tesseract - бесплатный инструмент оптического распознавания (OCR), который считывает текст с картинок и переводит его в обычные текстовые строки. Его подключают тогда, когда нужные данные нельзя забрать из HTML-кода страницы: например, если информация есть только на скриншоте, скан-копии документа или зашита прямо в изображение.

UiPath: автоматизация десктопных программ и старых систем

Платформа UiPath пригодится, когда данные нужно забрать не с сайта в браузере, а из обычной программы на компьютере. Например, из старой складской или бухгалтерской системы на Windows, где вообще нет функции выгрузки отчётов. Платформа умеет автоматически переключать окна таких программ, считывать текст из элементов интерфейса и распознавать таблицы прямо с экрана.

Практика: как настроить сбор данных через Yozh Scraper

Потренируемся на специальном демо-сайте Books to Scrape - это тестовая витрина книжного магазина, созданная для обучения парсингу. У неё простая статичная вёрстка, поэтому здесь удобно разобраться с селекторами и визуальным тестером перед переходом к сложным маркетплейсам.

1. Определите структуру итоговой записи

Нам нужно получить карточку товара с пятью полями: название книги, цена, статус наличия, ссылка на страницу и точное время сбора. Первые три значения заберём со страницы по селекторам, а исходный URL и штамп времени в формате UTC добавим при сохранении результата.

2. Запустите сервер Yozh Scraper

Убедитесь, что у вас установлены Git и Docker, и выполните четыре команды из инструкции по быстрому старту Yozh Scraper:

git clone https://github.com/CyberYozh-data/yozh-scraper
cd yozh-scraper
cp .env.example .env
docker compose up --build

Оставьте контейнеры запущенными. После сборки сервис скрейпера запустится на порту 8000 (интерактивная документация OpenAPI доступна по адресу http://localhost:8000/docs), а сопутствующий модуль краулера - на порту 8001.

3. Запустите визуальный тестер (Scraper Tester)

Веб-интерфейс для ручной отладки запускается в отдельном окне терминала (на компьютере должен быть установлен Node.js версии 18+). Перейдите в папку scraper-tester внутри репозитория и запустите сервер:

cd scraper-tester
npm install
node server.js

Откройте в браузере адрес http://localhost:7000 и нажмите кнопку Check рядом с полем Scraper URL в шапке страницы - индикатор должен стать зелёным.

4. Настройте правила извлечения (селекторы)

Перейдите на вкладку Scrape Page, вставьте тестовый URL книги, выберите прямое соединение без прокси (none) и добавьте три правила для CSS-извлечения:

Для каждого поля оставьте извлечение текста (attr: text) и отметьте галочкой обязательность поля (required). В поле ожидания элемента (wait_for_selector) впишите .product_main .price_color. Включите создание скриншота (screenshot) и не блокируйте загрузку медиафайлов (block_assets).

5. Протестируйте сбор на одной странице

Запустите задачу и сверьте полученные данные со скриншотом страницы. Для тестовой книги скрейпер вернёт название A Light in the Attic, цену £51.77 и статус In stock (22 available). Сервис аккуратно убирает лишние переносы строк и сохраняет значок валюты. Поскольку это демо-сайт, все цены и остатки здесь учебные.

6. Сохраните шаблон (пресет) для повторных запусков

Откройте вкладку Presets. В правой части экрана (Preset Builder) вставьте ссылку на страницу и нажмите Fetch sample, чтобы загрузить образец HTML. На следующем шаге выберите ручной метод (Manual) и внесите проверенные селекторы в таблицу. Нажмите Verify для сухого прогона, а затем сохраните пресет под понятным именем (система автоматически добавит к нему префикс user_). Теперь этот шаблон можно выбрать в выпадающем списке на вкладке Scrape Page и протестировать на других книгах каталога.

Когда вы перейдёте от демо-сайта к реальным маркетплейсам с региональной выдачей, пропишите свой API-ключ CyberYozh App (CYBERYOZH_API_KEY) в файле .env и выберите нужный тип прокси. Например, ротационные резидентские прокси (res_rotating) поддерживают точный геотаргетинг по коду страны, штату и городу, а сам скрейпер автоматически подстроит локаль и часовой пояс браузера под выбранную страну. Перед запуском сбора на тысячи страниц обязательно сделайте одиночный тестовый запрос и убедитесь, что сайт открывает витрину нужного региона.

Скрейпинг на Python: извлекаем и сохраняем данные страницы

Если вы пишете собственный сборщик на Python с использованием Playwright, вы сами управляете переходами по страницам, обработкой ошибок и форматом сохранения файлов. В примере ниже скрипт открывает ту же карточку книги на сайте Books to Scrape, забирает данные по нашим селекторам, проверяет их и сохраняет в файл product.json.

Установите библиотеку и браузерный движок командами python -m pip install playwright и python -m playwright install chromium. Затем сохраните код в файл scrape_product.py и запустите его через python scrape_product.py.

Если нужно пустить трафик скрипта через прокси CyberYozh App, заранее задайте три переменные окружения в терминале:

• CYBERYOZH_PROXY_SERVER: адрес вашего HTTP-прокси в формате http://HOST:PORT.

• CYBERYOZH_PROXY_USERNAME: логин от прокси.

• CYBERYOZH_PROXY_PASSWORD: пароль от прокси.

Если переменная с адресом сервера не задана, скрипт просто откроет страницу напрямую без прокси. В самом Playwright прокси можно привязать как ко всему процессу браузера, так и к отдельному изолированному контексту.

import json
import os
from datetime import datetime, timezone
from playwright.sync_api import sync_playwright, TimeoutError

URL = "https://books.toscrape.com/catalogue/a-light-in-the-attic_1000/index.html"

FIELDS = {
    "title": ".product_main h1",
    "price": ".product_main .price_color",
    "availability": ".product_main .availability",
}

options = {}
if server := os.getenv("CYBERYOZH_PROXY_SERVER"):
    options["proxy"] = {
        "server": server,
        "username": os.getenv("CYBERYOZH_PROXY_USERNAME", ""),
        "password": os.getenv("CYBERYOZH_PROXY_PASSWORD", ""),
    }

with sync_playwright() as p:
    browser = p.chromium.launch(**options)
    try:
        page = browser.new_page()
        response = page.goto(URL, wait_until="domcontentloaded")

        if response is None or not response.ok:
            raise SystemExit("Page request failed; check the URL and connection.")

        record = {}
        for field, selector in FIELDS.items():
            element = page.locator(selector)
            try:
                element.wait_for(state="visible", timeout=10000)
                value = " ".join(element.inner_text().split())
            except TimeoutError:
                raise SystemExit(f"Required field missing or not ready: {field}")

            if not value:
                raise SystemExit(f"Required field is empty: {field}")

            record[field] = value

        record.update(
            source_url=page.url,
            collected_at=datetime.now(timezone.utc).isoformat(),
        )

        with open("product.json", "w", encoding="utf-8") as output:
            json.dump(record, output, ensure_ascii=False, indent=2)

        print("Saved product.json")
    finally:
        browser.close()

Скрипт ждёт появления каждого обязательного элемента на экране (до 10 секунд), склеивает лишние пробелы и сохраняет цену вместе со значком валюты. Если хотя бы одно поле не загрузилось или оказалось пустым, программа сразу остановится с понятным текстом ошибки и не станет перезаписывать файл битыми данными. При успешном сборе в JSON-файл добавляются исходный URL и время в формате UTC.

А если у вас уже развёрнут Yozh Scraper и сохранён готовый пресет, вам не нужно писать логику Playwright с нуля. Скрипт на Python может просто обращаться к Yozh Scraper по REST API в три шага:

1. Отправьте POST-запрос на эндпоинт /api/v1/scrape/preset/page и сохраните полученный идентификатор задачи job_id.

2. Периодически запрашивайте статус через GET /api/v1/scrape/{job_id} до завершения задачи (не забудьте задать общий тайм-аут и проверку статусов failed и cancelled).

3. Заберите готовые данные через GET /api/v1/scrape/{job_id}/results, проверьте поля в объекте data и сохраните их в свою базу.

Автоматизация сбора данных: краулер, расписание в n8n и ИИ-агенты

Когда вы отладили сбор данных с одной карточки товара, следующий шаг - масштабировать процесс на весь каталог и настроить регулярное обновление цен. Стройте автоматизацию вокруг уже проверенного пресета: задайте точные правила поиска ссылок, настройте запуск по таймеру и проверяйте ответы перед записью в базу.

Сбор ссылок по каталогу через Yozh Crawler

Сопутствующий сервис Yozh Crawler (работает на порту 8001) автоматически проходит по разделам сайта, находит новые ссылки и передаёт страницы в Yozh Scraper для извлечения данных. Укажите стартовую страницу категории (seed_url) и задайте правила сканирования: оставаться только внутри текущего домена (same-domain) или переходить только по ссылкам с нужным шаблоном в адресе (например, только по страницам товаров). Там же укажите лимит на максимальное количество страниц (max_pages) и глубину переходов по ссылкам (max_depth).

В интернет-магазинах на одну и ту же карточку товара часто ведут десятки похожих ссылок: с www и без него, со слэшем на конце или с хвостами параметров сортировки в адресе. Встроенная очистка URL (каноникализация) приводит такие ссылки к единому виду и не даёт краулеру скачивать одну и ту же страницу по нескольку раз. А ограничение числа запросов в секунду (RPS) бережёт целевой сайт от перегрузки. Всегда начинайте с небольшого лимита в 10-20 страниц и проверяйте список найденных URL: так вы сразу заметите и отсечёте лишние разделы вроде блога или страницы контактов.

Запуск по расписанию в n8n

Платформа автоматизации n8n легко подключается к REST API вашего Yozh Scraper. Типовой рабочий сценарий (воркфлоу) строится из пяти блоков:

Запуск по таймеру → отправка задачи в скрейпер → ожидание готовности → проверка полей → запись в базу или таблицу.

Задайте нужный интервал в узле Schedule Trigger, а отправку задачи настройте через стандартный узел HTTP Request. Сохраните полученный job_id и проверяйте статус задачи в цикле с небольшой паузой. Обязательно добавьте ограничение по числу попыток и отдельную ветку для уведомлений об ошибках, чтобы упавшие задачи не оставались незамеченными.

Перед финальной записью в таблицу или базу данных проверяйте наличие всех обязательных полей и прикрепляйте метку времени. В такой связке n8n отвечает за расписание и маршрутизацию данных, а всю работу с браузером выполняет Yozh Scraper.

Управление через ИИ-ассистентов по протоколу MCP

Протокол Model Context Protocol (MCP) позволяет подключать внешние инструменты напрямую к ИИ-ассистентам, таким как Claude. Достаточно прописать адрес MCP-сервера (http://localhost:8000/mcp) в настройках клиента, и нейросеть сама получит доступ к функциям скрейпера. После этого вы можете просто написать в чате: «Собери данные с этой страницы и выведи цены в таблице» - ассистент сам запустит задачу, дождётся окончания рендеринга и пришлёт готовый ответ.

Кроме того, в самом Yozh Scraper можно подключить нейросеть для автоматической сборки пресетов. Вместо ручного поиска классов в коде страницы вы просто описываете задачу словами (режим from_prompt) или передаёте список нужных полей с типами данных (режим from_schema), и ИИ сам подбирает CSS-селекторы. Там же включается функция автоисправления (self_heal): если магазин обновит дизайн и обязательное поле вернётся пустым, скрейпер сам найдёт новый селектор в изменившейся вёрстке и обновит ваш пользовательский пресет. Конечно, после такого авторемонта результат лучше сверить со скриншотом страницы, чтобы убедиться, что нейросеть выбрала правильный блок.

Чтобы включить генерацию и автоисправление селекторов, укажите в файле .env свой API-ключ от OpenAI, Anthropic, Gemini или OpenRouter (запросы к моделям оплачиваются отдельно по тарифам выбранного ИИ-провайдера).

Как выбрать прокси и настроить сессии для скрейпинга

При скрейпинге сайтов через браузер выбор прокси зависит от трёх вещей: нужной вам геолокации, длительности одной сессии и частоты запросов к сайту. В инфраструктуре CyberYozh App под каждый сценарий есть своя линейка прокси:

• Мобильные прокси LTE/4G/5G (от $1.70 в сутки): работают через реальных сотовых операторов и отлично подходят для сбора данных из поисковой выдачи Google и площадок со строгими фильтрами трафика. Поскольку на одном мобильном IP одновременно сидят сотни обычных абонентов сотовой сети, системам защиты гораздо сложнее пометить такой адрес как подозрительный, и запросы реже попадают под ограничения. При этом рендеринг страниц в реальном браузере потребляет много трафика из-за подгрузки скриптов и стилей, поэтому безлимитный тариф серьёзно экономит бюджет: вы можете парсить круглосуточно без доплат за каждый гигабайт. А если нужно ускорить сбор, можно взять несколько мобильных каналов и распределить запросы по параллельным потокам.

• Ротационные резидентские прокси (от $4 за ГБ): оптимальны для масштабного парсинга товарных каталогов и проверки цен в разных странах и городах. Для сбора одиночных страниц включайте смену IP на каждый запрос, а для многошаговых сценариев (например, выбора города доставки и перехода в корзину) используйте sticky-сессии до 24 часов. Неизрасходованный трафик автоматически переносится на следующий месяц.

• Статичные резидентские ISP-прокси (от $5.29 в месяц): сочетают безлимитный трафик и фиксированный домашний IP-адрес. Выбирайте их для регулярного мониторинга одних и тех же кабинетов или площадок, где требуется постоянная авторизация с неизменного адреса.

• Серверные (датацентровые) прокси: быстрый и бюджетный вариант с безлимитным трафиком для парсинга открытых каталогов и простых сайтов, которые спокойно относятся к серверным подсетям.

Если вы собираете данные с сайтов, где требуется вход в аккаунт или привязка к городу доставки, важно учитывать, что за сохранение сессии отвечают два независимых механизма. Первый - это куки (cookies) и localStorage браузера, в которых сайт хранит токен вашей авторизации и выбранные настройки региона (в Yozh Scraper для этого есть эндпоинт /api/v1/sessions, позволяющий один раз пройти логин и передавать сохранённые куки в следующие запросы). Второй механизм - это постоянство IP-адреса прокси. Они работают в паре, но не заменяют друг друга: постоянный IP сам по себе не удержит авторизацию, если на сайте истёк срок действия токена в куках. И наоборот: даже с сохранёнными куками защитная система сайта может сбросить сессию, если во время работы у вас внезапно сменился IP-адрес.

Частые ошибки при скрейпинге и способы их решения

Если после запуска в отчёте появились пустые поля или некорректные данные (например, цены в чужой валюте или текст капчи вместо названия товара), откройте сохранённый скриншот из этой же задачи и сравните его с итоговым JSON-файлом. Так вы за секунду поймёте, в чём дело: страница вообще не загрузилась из-за заглушки или же просто сбился CSS-селектор.

После любых правок в пресете Yozh Scraper сначала протестируйте его на 1-2 карточках товаров и только потом запускайте регулярный сбор по всему каталогу. Подробный разбор работы с лимитами запросов и кодами ответа сервера читайте в нашей статье про ошибку 429 Too Many Requests.

Правовые аспекты: законен ли скрейпинг данных

Сама по себе технология автоматического сбора данных абсолютно легальна, но законность конкретного проекта всегда зависит от пяти факторов: источника, способа доступа к страницам, категории собираемых данных, страны (юрисдикции) и того, как именно вы используете полученную информацию. Тот факт, что страница открыта в публичном доступе в интернете, ещё не даёт автоматического права копировать и перепродавать её содержимое без ограничений.

Перед запуском парсера в коммерческом проекте изучите пользовательское соглашение (Terms of Service) целевой площадки, директивы файла robots.txt и правила использования контента. Отдельно учитывайте авторское право и смежные права на базы данных, особенно если вы планируете публиковать собранные тексты и фотографии у себя на сайте или продавать готовую базу третьим лицам.

Особое внимание уделяйте законам о защите персональных данных (таким как GDPR и их локальным аналогам). Регуляторы прямо указывают: даже если личные данные пользователей опубликованы в открытых профилях, при их автоматическом сборе и хранении вы обязаны соблюдать правила обработки персональной информации.

Во время обучения по этому гайду тренируйтесь на демо-сайте и собирайте только базовые характеристики карточек товаров (название, цену и наличие). А в реальных бизнес-задачах заранее определяйте список нужных разделов, не сохраняйте лишнюю информацию, ограничивайте доступ к собранной базе внутри команды и вовремя удаляйте старые копии HTML и скриншоты, если на них могли попасть персональные данные пользователей.