Исследования, аналитика и конвейеры машинного обучения зависят от больших объёмов публичных данных. Прокси делают сбор предсказуемым: убирают ограничения на один IP и дают региональные ракурсы, нужные вашему набору данных.
Архитектура конвейера: пул выбирается по источнику
Конвейером сбора проще управлять, когда каждый источник описан в конфигурации один раз, а всё остальное следует из этого описания. Профиль источника содержит домен, уровень пула, максимум одновременных запросов, минимальную паузу между запросами, политику повторов и версию парсера. Планировщик наполняет очереди по доменам, воркеры забирают задачи из них в рамках этих лимитов, а маршрутизатор подставляет прокси, указанный в профиле. Когда источник начинает блокировать, вы меняете один профиль, а не правите код, и точно видите, какой пул отвечает за расходы.
Тогда распределение по уровням сводится к поиску по таблице. Открытые, нетребовательные источники направляются на серверные (datacenter) IP, где трафик заявлен как безлимитный, а ежемесячный счёт фиксирован. Источники, которые отдают контент по IPv6 и требуют много адресов, могут использовать IPv6-пакеты, но с важной оговоркой: все адреса берутся из одной подсети /64, а некоторые системы защиты применяют лимиты ко всему префиксу, а не к каждому адресу, поэтому 2,500 адресов могут вести себя как один клиент. Защищённые источники идут на ротационные резидентные IP с оплатой за ГБ. Источники, требующие авторизации, используют статические IP, чтобы сессия сохраняла один адрес.
Тип источника
Пул
Основа оплаты
Диапазон цен (TRY в месяц)
Нетребовательные, массовый сбор
Серверные IPv4
Фиксированная; трафик заявлен как безлимитный
30 IP: 250 · 1,000 IP: 2,000
С поддержкой IPv6, требовательные к числу адресов
IPv6 (одна /64)
Фиксированная; заявлены HTTP и HTTPS
100 IP: 100 · 15,000 IP: 2,250
Защищённые, зависят от страны
Ротационные резидентные
За ГБ, срок использования 30 дней
5 ГБ: 350 · 300 ГБ: 9,000
Требуется авторизация
ISP, статические
За IP; ежемесячно, до 12 месяцев
3 IP: 180 · 1,000 IP: 30,000
02
Арифметика бюджета: запросы, байты и вежливость
Отталкивайтесь от нужного объёма и считайте в обратном порядке. Иллюстративный пример: 500,000 страниц в день — это в среднем около 5.8 запроса в секунду. При допущении 1.2 секунды на ответ одновременно в работе должно быть примерно семь запросов, с чем справится любой небольшой пул воркеров. Число IP определяется тогда не параллелизмом, а вежливостью. Если источник терпит один запрос в десять секунд с одного адреса, для этого источника нужно около 58 адресов, так что пакет серверных IP на 100 адресов за 400 TRY в месяц покрывает потребность с запасом.
Теперь оцените ту же задачу в байтах. Допустим, загруженный HTML-документ весит в среднем 40 КБ: 500,000 страниц — это 20 ГБ в день, или около 600 ГБ в месяц. На резидентных тарифах с оплатой за ГБ по цене от 30 до 70 TRY за ГБ счёт получается совсем другим, чем на фиксированном тарифе для серверных IP, поэтому резидентный трафик стоит приберечь для источников, которым он действительно нужен. Сокращайте объём там, где позволяют условия: запрашивайте сжатые ответы через Accept-Encoding, отправляйте If-None-Match или If-Modified-Since, чтобы неизменённые страницы возвращали крошечный ответ 304, и не загружайте изображения, шрифты и скрипты, которые вы не разбираете.
Вежливость защищает и вас. Пул из 58 адресов, отправляющих по одному запросу каждые десять секунд, всё равно создаёт на источнике нагрузку 5.8 запроса в секунду, а это ощутимая нагрузка для небольшого сайта. Ограничивайте суммарную частоту запросов на домен, а не только на каждый IP, и распределяйте крупные задачи на весь день. При ответах 429 и 5xx увеличивайте паузу по экспоненте, учитывайте Retry-After, если заголовок присутствует, и полностью приостанавливайте источник, когда доля ошибок превышает заданный вами порог. Повторы умножают расходы на тарифах с оплатой за ГБ, поэтому лимиты повторов — это и инструмент контроля бюджета, и проявление вежливости.
Прежде чем выбирать тариф, измерьте объём страницы в байтах на ваших собственных целях; приведённые выше цифры — допущения, а не типичные значения.
03
Соблюдение требований и управление данными внутри конвейера
Соблюдать требования проще всего, когда это обеспечивает сам конвейер, а не память людей. Загружайте и кэшируйте robots.txt каждого домена, обновляйте его ежедневно и сделайте так, чтобы загрузчик отказывался обращаться к запрещённым путям. Ведите проверенный реестр условий каждого источника и отметку о наличии официального API или массовой выгрузки; если они есть, используйте их — это дешевле, быстрее и не вызывает разночтений. Если источник предлагает способ идентифицировать ваш краулер или контактный адрес для массового доступа, пользуйтесь этим каналом, а не обходите сайт стороной.
Решите заранее, что вы не будете хранить. «Общедоступно» не означает «свободно от обязательств»: имена, адреса электронной почты, фотографии и подобные сведения могут быть персональными данными по законам вроде GDPR или турецкого KVKK, а их сбор может требовать правового основания, даже если они видны всем. Отдавайте предпочтение конвейерам, которые извлекают только нужные поля, отбрасывают остальное при разборе и соблюдают срок хранения. Это общая информация, а не юридическая консультация; для коммерческих наборов данных о людях получите квалифицированную консультацию до начала сбора.
Наконец, сделайте каждую запись отслеживаемой. Сохраняйте в каждой строке URL источника, время загрузки в UTC, HTTP-статус, уровень пула, страну выхода и версию парсера. Происхождение данных позволяет удалить всё, что получено из источника, если он возражает, воспроизвести цифру, которую ставит под сомнение заинтересованная сторона, и заметить, когда выборка из отдельного региона искажает набор данных. Оно же служит свидетельством добросовестного поведения: если владелец сайта свяжется с вами, вы сможете показать частоту запросов и быстро ответить; при этом сначала остановите задачу, а обсуждение оставьте на потом.
План действий
Практический план внедрения
Четыре шага от первого теста до стабильной работы под контролем.
01
Проведите инвентаризацию и классификацию источников
Перечислите все источники с правилами robots.txt, условиями, официальным API или выгрузкой и сведениями о том, публикует ли источник AAAA-записи (проверьте инструментом «DNS-запрос»). Исключите или пересмотрите всё, что вам нельзя собирать.
02
Назначьте уровни и бюджеты
Задайте каждому источнику пул, потолок запросов на домен и суточный бюджет в байтах и запишите их в конфигурацию, а не в код.
03
Пилот на одном проценте
Несколько дней прогоняйте один процент планируемого объёма. Измерьте байты на страницу, набор статусов и дубликаты, затем пересчитайте размер тарифа по измеренным данным.
04
Масштабируйте поэтапно с автоматическим замедлением
Наращивайте объём этапами, с оповещениями по доле ответов 403 и 429 и автоматической паузой по каждому источнику, а стоимость на тысячу записей пересматривайте каждую неделю.
Разобранные сценарии
Как это выглядит на практике
Иллюстративные примеры: цифры — допущения для демонстрации логики, а не измеренные результаты.
01
Нетребовательный каталог, 120,000 страниц в день
Это около 1.4 запроса в секунду. При одном запросе в пять секунд на IP хватило бы семи адресов, так что пакет серверных IP на 30 адресов за 250 TRY в месяц уже более чем достаточен. Важный предел — нагрузка на каталог, поэтому команда ограничивает суммарную частоту и распределяет загрузки на весь день (иллюстративные цифры).
02
Три страны, еженедельные обходы
Команда каждую неделю собирает выборку из 5,000 страниц каталога в каждой из трёх стран через резидентные IP с выбором страны, загружая только HTML — по допущению, 150 КБ на страницу. Один обход — это 3 × 5,000 × 150 КБ, около 2.25 ГБ, так что четыре обхода занимают около 9 ГБ, и тариф на 10 ГБ за 650 TRY подходит, но с небольшим запасом на повторы.
03
Источник с поддержкой IPv6
Источник публикует AAAA-записи, что подтверждено инструментом «DNS-запрос». Команда тестирует IPv6-пакет на 500 IP за 300 TRY в месяц, но поскольку все адреса находятся в одной /64, применяет единый token bucket ко всему пулу и сравнивает долю успешных запросов с пакетом серверных IP на 100 адресов за 400 TRY, прежде чем принять решение.
Что измерять
Отслеживайте это с первого дня, чтобы проблемы проявлялись цифрами, а не сюрпризами.
Доля успеха по классам статусов для каждого источника: доля ответов 2xx по сравнению с 403, 429 и 5xx, с почасовым контролем.
Байты на успешную запись: показатель напрямую пересчитывается в стоимость на тарифах с оплатой за ГБ и показывает, когда парсеры или повторы тратят трафик впустую.
Стоимость 1,000 записей в TRY по уровням пула — так видно, когда перенос источника в другой пул окупается.
Свежесть данных: возраст самой старой записи в наборе данных каждого источника в сравнении с целевым интервалом обновления.
Доля дубликатов и сбоев разбора: незаметные изменения вёрстки и повторные загрузки одинаково раздувают расходы, не добавляя данных.
Частые ошибки
Шаблоны, которые тратят бюджет впустую или приводят к блокировкам.
Расчёт числа IP по параллелизму, а не по терпимости источника: это либо перегружает источник, либо тратит бюджет впустую.
Восприятие тысяч адресов одной IPv6-подсети /64 как независимых идентичностей, хотя защита, ограничивающая по префиксу, видит одного клиента.
Неограниченные повторы на тарифах с оплатой за ГБ: блокировка может превратиться в шквал повторов, который за несколько часов съест месячную квоту.
Отсутствие данных о происхождении записей: когда источник или регулятор спросит, вы не сможете объяснить, исправить или удалить запись.
Сбор персональных данных «потому что они общедоступны»: по закону о защите данных для этого всё равно может требоваться правовое основание.
Практические советы
Сохраняйте URL источника, время, тип IP и страну для каждой записи.
Автоматически снижайте частоту при ответах 429 и 403.
Предпочитайте официальные API и массовые выгрузки.
Не допускайте персональные данные в свой конвейер без правового основания.
Используйте прокси ответственно
Собирайте публичные данные законно и уважительно: соблюдайте robots.txt и условия, законы о защите данных и не перегружайте сервисы.
IPv6 — для источников, которые работают по IPv6 и требуют огромного числа адресов; IPv4 — для универсального охвата.
Делают ли ротационные прокси сбор законным?
Нет. Законность зависит от того, что и как вы собираете, а не от прокси.
Как планировать бюджет трафика?
Возьмите выборку реальных страниц, измерьте байты, затем умножьте. Блокировка изображений и скриптов может резко сократить расход.
Обязан ли я соблюдать robots.txt?
robots.txt — это скорее соглашение, чем закон, но он выражает пожелания владельца сайта, а его игнорирование может нарушить условия использования или ослабить вашу позицию в споре. Мы рекомендуем соблюдать его и использовать официальный API или выгрузку, если они существуют. Это общая рекомендация, а не юридическая консультация.
Как узнать, работает ли источник по IPv6?
Запросите AAAA-записи инструментом «DNS-запрос»: если AAAA-записи нет, сайт работает только по IPv4, и выход только по IPv6 обычно до него не доберётся. Запись необходима, но недостаточна, поэтому проведите небольшой тест через пакет. Провайдер указывает для IPv6 HTTP и HTTPS; SOCKS5 не подтверждён.
Как не тратить ГБ впустую, если долгий обход перезапускается?
Сохраняйте очередь и журнал загруженных URL вместе с их ETag или хешем содержимого, чтобы после перезапуска обход продолжался, а не повторялся. Делайте загрузки идемпотентными и удаляйте дубликаты URL до постановки в очередь. Каждая повторно загруженная страница стоит реальных денег на резидентных тарифах с оплатой за ГБ, у которых к тому же 30-дневный срок использования, поэтому планируйте загрузки с его учётом.
Для бизнеса
Нужны большие объёмы, особые локации или удобная для закупок схема?
Обсудите с отделом продаж большое количество IP, долгосрочные договоры и персональное подключение. Сообщите целевые страны и профиль трафика, и мы предложим подходящий вариант.