Решения

Прокси для надёжного веб-скрейпинга

Скрейперы ломаются по предсказуемым причинам: слишком много запросов с одного адреса, адреса, которые выглядят автоматизированными, и сессии, обрывающиеся на полпути. Подходящий тип прокси решает первые две проблемы; грамотная архитектура скрейпера — третью.

Веб-скрейпинг
Резидентные проксиОт 350 TRY / месяц

Проблема

Что усложняет эту задачу

  • Лимиты на один IP

    Сайты ограничивают число запросов с одного адреса. Сконцентрируйте трафик на одном IP — и вас замедлят или заблокируют за считаные минуты.

  • Оценка репутации IP

    Защищённые сайты определяют, дата-центр, резидентный или мобильный перед ними адрес, и с первого запроса относятся к ним по-разному.

  • Контент зависит от региона

    Цены, наличие и результаты меняются в зависимости от страны посетителя, поэтому скрейпер из одной локации видит лишь одну версию интернета.

Подход

Чем помогают подходящие прокси

  1. Подберите тип IP под цель

    Серверные IP — для лояльных сайтов и API, резидентные ротационные — для защищённых потребительских сайтов, ISP — там, где важна стабильная личность.

  2. Ротация или закрепление — осознанно

    Ротируйте на каждый запрос для загрузки без состояния; sticky-сессии используйте, когда авторизация, корзина или постраничный сценарий должны сохранять один адрес.

  3. Выберите нужную страну

    Резидентные тарифы заявлены с таргетингом на уровне страны, поэтому вы собираете версию страницы, которую видит ваша аудитория.

Подробно

Детали, которые определяют результат

Расчёт мощности парсера: бюджет по IP и бюджет по трафику

У любой задачи по парсингу два независимых ограничения. Бюджет IP — сколько запросов в минуту один адрес может отправить, прежде чем цель начнёт его ограничивать; это число нужно измерять, а для условного сайта из примера примем 4. Бюджет трафика — сколько байт вы передаёте; он важен только на тарифах с оплатой за объём. Возьмём условную нагрузку в 24,000 страниц в сутки, примерно 17 запросов в минуту. При 4 запросах в минуту на IP требуется примерно пять адресов, так что даже самый маленький пакет серверных IPv4-прокси — 30 IP за 250 TRY в месяц — загружает каждый адрес примерно на 0.6 запроса в минуту.

Для резидентных прокси арифметика переворачивается, потому что вы платите за гигабайты, а не за адреса. Те же 24,000 страниц по условным 150 КБ каждая — это 3.6 ГБ в сутки, или 108 ГБ за 30-дневный период. Это на 8 процентов превышает тариф на 100 ГБ (3,500 TRY) и заставило бы перейти на тариф на 200 ГБ (7,000 TRY), поэтому отказ от изображений, шрифтов и трекеров даёт больше, чем кажется. Если уложиться в 100 ГБ, стоимость составит около 0.005 TRY за страницу — против примерно 0.0003 TRY на пакете из 30 серверных IP.

Очень крупные и стабильные задачи снова меняют логику. Безлимитные ротационные резидентные тарифы меняют фиксированную цену на неограниченный трафик: месячный тариф стоит 75,000 TRY, что равно 2,500 ГБ по ставке тарифа на 300 ГБ — 30 TRY за ГБ, или около 83 ГБ в сутки. Ниже этого объёма тарифы с оплатой за ГБ дешевле, выше — безлимит выигрывает на бумаге. Условия безлимитного использования, такие как лимиты добросовестного использования или ограничения на число одновременных соединений, на этом сайте не опубликованы, поэтому до построения конвейера на этом допущении уточните их у отдела продаж в WhatsApp.

СитуацияОпределяющее ограничениеКакое семейство тарифов считать первым
Терпимый сайт, очень много страницЗапросов в минуту на IPПакеты серверных IPv4-прокси (от 30 до 1,000 IP)
Защищённый потребительский сайт, умеренный объёмГигабайты и доля блокировокТарифы на резидентные прокси (от 5 до 300 ГБ)
Защищённый сайт, стабильно очень большой объёмСтоимость за ГБ в масштабеБезлимитные ротационные резидентные (суточные, недельные, месячные)
Контент мобильных сетей или конечные точки, которым доверяет операторДоверие к адресу и квотаРотационные мобильные пакеты (5, 10, 100 ГБ) или безлимитный месячный
Ваш собственный вход под стабильной личностьюНепрерывность сессииISP-прокси (статические турецкие IP)

Сессии, повторные попытки и экспоненциальная задержка

Выбирайте ротацию по единице состояния, а не по привычке. Запрос без состояния, например страницу товара или выдачу поиска, можно отправлять с нового IP каждый раз. Сценарий с состоянием — вход в аккаунт, токен пагинации, привязанный к сессии, или корзина — должен идти с одного адреса, поэтому запрашивайте «липкую» сессию на тарифе резидентных прокси или используйте статический IP ISP-прокси. Держите отдельное хранилище cookie для каждого выходного IP: подстановка cookie одного адреса с другого — частая причина аннулирования сессий. С серверными пакетами ротацию вы выполняете сами, например по кругу (round-robin) с паузой на каждый IP.

Разбирайте сбои по классам. Ошибки соединения, тайм-ауты и ответ 407 (требуется аутентификация на прокси) указывают на путь через прокси или на ваши учётные данные, а не на блокировку. Ответ 403, 429 или страница с кодом 200, содержащая проверку (challenge), указывает на цель. При 429 учитывайте заголовок Retry-After, если он есть; иначе увеличивайте паузу экспоненциально со случайным разбросом (jitter), например примерно 2, 4, 8 и 16 секунд, и повторяйте запрос с другого IP, а не бейте в один и тот же. Ограничьте число повторов тремя-четырьмя на URL, чтобы постоянная блокировка не выжгла ваш ГБ-тариф.

Прокси меняет только сетевой путь. TLS-рукопожатие вашего HTTP-клиента, порядок заголовков и версия протокола доходят до цели без изменений через CONNECT-туннель, поэтому клиент, похожий на скрипт, остаётся похожим на скрипт и на резидентном IP. Делайте заголовки согласованными — с настоящим User-Agent браузера и соответствующим Accept-Language, — переиспользуйте соединения через keep-alive, чтобы не делать новое рукопожатие на каждый запрос, и применяйте headless-браузер только там, где страницам действительно нужен JavaScript, потому что полный рендер обычно стоит в несколько раз больше байт, чем сырой HTML.

Код ответа 200 — не доказательство успеха. Засчитывайте ответ только тогда, когда в нём есть ожидаемые поля.

Мониторинг парка прокси и доказательство работоспособности

Проверяйте каждую конечную точку до первого рабочего запуска. Бесплатный чекер прокси принимает до 10 прокси за запрос, сам определяет HTTP или SOCKS5 и сообщает выходной IP, задержку и код ошибки, так что партию можно отсеять за один проход. Коды чётко разделяют причины: auth — неверные учётные данные, refused или timeout — конечная точка или порт недоступны, а connect_denied или tls указывают на сам туннель. Затем откройте проверку IP-адреса в браузере, который использует прокси, чтобы подтвердить адрес, который увидит цель, и повторите это на ротационной конечной точке, чтобы убедиться, что адрес меняется.

В продакшене записывайте по одной строке на запрос: домен цели, тип IP, выходной IP или его хеш, код ответа, байты, задержку, число повторов и флаг валидности контента. По этой таблице можно вычислять долю блокировок по домену и по типу IP и исключать из списка проблемные адреса, например те, у которых менее 80 процентов валидных ответов по меньшей мере в 100 запросах, — этот порог нужно подстроить под вашу цель. Настраивайте оповещения на тренды, а не на единичные сбои: доля блокировок, выросшая вдвое за час, обычно означает смену правил на цели, а не сбой сети.

Ротация распределяет нагрузку, но не даёт разрешения. Если сайт просит вас остановиться или предлагает официальный фид, используйте его.

План действий

Практический план внедрения

Четыре шага от первого теста до стабильной работы под контролем.

  1. Сначала поищите разрешённый источник

    Проверьте, есть ли официальный API, фид или массовая выгрузка, и прочитайте robots.txt и условия использования, прежде чем что-либо строить. Поля, которые вам действительно нужны, часто определяют всю архитектуру.

  2. Проведите пилот для каждого типа IP

    Загрузите от 500 до 1,000 репрезентативных URL на самом дешёвом из подходящих типов и зафиксируйте долю валидного контента, байты на страницу и задержку. Переходите к следующему типу, только если результаты не дотягивают до вашего порога.

  3. Задайте лимиты для каждого домена

    Определите максимальную параллельность, число запросов в минуту и паузу для каждого IP, со случайным разбросом задержек и экспоненциальной задержкой при ответах 429 и 5xx.

  4. Масштабируйтесь шагами и проверяйте раз в неделю

    Удваивайте объём, только пока доля блокировок остаётся ниже порога, и каждую неделю сравнивайте стоимость тысячи валидных страниц, чтобы смена тарифа была решением на основе данных.

Разобранные сценарии

Как это выглядит на практике

Иллюстративные примеры: цифры — допущения для демонстрации логики, а не измеренные результаты.

Обход публичного каталога

Исследовательская команда обходит 300,000 страниц публичного каталога за неделю, примерно по 1,800 в час. Работа распределяется по 100 IP пакета серверных IPv4-прокси (400 TRY в месяц), то есть примерно по 18 запросов в час на IP, с ротацией по кругу и паузой. Скорость условная: реальную терпимость сайта нужно измерять в пилоте.

Страницы категорий защищённой розницы

Пилот на ритейлере, отклоняющем диапазоны дата-центров, даёт валидные страницы для 40 процентов запросов с серверных IP и для 95 процентов — с резидентных (условные цифры). При примерно 200 КБ на страницу тариф на 50 ГБ резидентных прокси (2,500 TRY) покрывает около 250,000 страниц, то есть 0.01 TRY за страницу. Команда использует резидентные IP только для этого ритейлера, а для остальных оставляет серверные.

Выгрузка с авторизацией из партнёрского портала

Финансовая команда ежедневно скачивает отчёты из партнёрского портала, где у неё есть учётные данные и чьи условия разрешают автоматическую выгрузку. Поскольку портал привязывает сессии к адресу, задача закреплена за одним статическим IP из тарифа ISP-прокси на 3 IP (180 TRY в месяц) с единственным хранилищем cookie. Любой другой адрес грозил бы запросом повторной аутентификации при каждом запуске.

Что измерять

Отслеживайте это с первого дня, чтобы проблемы проявлялись цифрами, а не сюрпризами.

  • Доля валидного контента по домену и типу IP, определяемая по наличию ожидаемых полей, а не по коду HTTP 200.
  • Доля блокировок — то есть доля запросов, завершившихся ответом 403, 429 или страницей проверки, — по типу IP и по часам.
  • Стоимость 1,000 валидных страниц с учётом цены тарифа, повторов и впустую потраченных байт.
  • Средний и 95-й процентиль байт на страницу, от которых зависит выбор ГБ-тарифа.
  • Доля повторов и 95-й процентиль задержки: их рост сигнализирует об ограничении скорости ещё до появления жёстких блокировок.

Частые ошибки

Шаблоны, которые тратят бюджет впустую или приводят к блокировкам.

  • Считать HTTP 200 успехом, из-за чего мягкие блокировки и пустые шаблоны незаметно засоряют набор данных.
  • Менять IP посреди сценария, которому нужно состояние, — это аннулирует токены и вынуждает проходить аутентификацию заново.
  • Немедленно повторять запрос с того же IP после 429, что превращает лимит скорости в блокировку.
  • Скачивать изображения, шрифты и трекеры на тарифе с оплатой за ГБ: стоимость растёт, а ценности для данных нет.
  • Покупать по размеру пула, а не по измеренной терпимости на один IP, из-за чего ёмкость либо простаивает, либо оказывается слишком скромной.

Практические советы

  • Соблюдайте robots.txt и опубликованные условия; многие сайты предлагают API.
  • Ограничивайте частоту по каждому домену и добавляйте случайные паузы вместо всплесков.
  • Блокируйте изображения и медиа, чтобы сократить трафик на тарифах с оплатой за ГБ.
  • Фиксируйте HTTP-коды ответов по каждому IP, чтобы вовремя замечать блокировки.

Используйте прокси ответственно

Собирайте только те данные, к которым у вас есть право доступа, соблюдайте лимиты запросов и законы о конфиденциальности и никогда не используйте прокси для атак, перегрузки или обмана сервисов. Злоупотребление может лишить вас доступа.

Какой прокси лучше всего подходит для скрейпинга?

Зависит от цели. Серверные — для лояльных сайтов, ротационные резидентные — для защищённых, ISP — для стабильных сессий. Таблица сравнения на главной странице подытоживает компромиссы.

Сколько прокси мне нужно?

Разделите нужное число запросов в минуту на безопасную для цели частоту на один IP. Начните с малого, измерьте долю блокировок, затем масштабируйте.

Законен ли скрейпинг?

Это зависит от данных, условий сайта и вашей юрисдикции. Для коммерческих проектов получите юридическую консультацию; прокси законность не меняют.

Нужно ли мне самому строить ротацию с серверными пакетами?

Да. Пакеты серверных IPv4-прокси дают список статических адресов с аутентификацией по логину и паролю, автоматической ротации нет. Ротируйте в собственном коде, например по кругу с паузой на каждый IP. Ротационные резидентные точки меняют выходной адрес за вас.

Что использовать для парсера: HTTP или SOCKS5?

Большинство библиотек для парсинга нативно работают с HTTP-прокси, а HTTPS-страницы проходят как CONNECT-туннель. SOCKS5 полезен для не-HTTP-трафика или инструментов, которые поддерживают только его. Для серверных и резидентных тарифов поддержка протоколов определяется данными провайдера, и при оформлении заказа выбора нет, поэтому до построения решения подтвердите протокол в отделе продаж в WhatsApp.

Как парсить страницы с тяжёлым JavaScript, не исчерпав ГБ-тариф?

Сначала поищите структурированные данные, встроенные в страницу, или JSON-эндпоинт, который сама страница публично вызывает: это намного легче полного рендера. Если без headless-браузера не обойтись, блокируйте изображения, шрифты и медиа и кэшируйте статические ресурсы между запусками. Измерьте байты на страницу на небольшой выборке, прежде чем выбирать размер тарифа.

Для бизнеса

Нужны большие объёмы, особые локации или удобная для закупок схема?

Обсудите с отделом продаж большое количество IP, долгосрочные договоры и персональное подключение. Сообщите целевые страны и профиль трафика, и мы предложим подходящий вариант.