Веб-скрейпинг с прокси: ответственный подход
Прокси решают проблему лимитов на IP, а не плохой архитектуры скрейпера. Как ответственно сочетать и то, и другое.
Скрейпинг любого масштаба упирается в одни и те же проблемы: сайты ограничивают число запросов с одного адреса и с большей подозрительностью относятся к некоторым типам адресов. Прокси решают обе — но они лишь часть хорошего скрейпера.
Начните с этикета
- Сначала поищите официальный API или экспорт данных.
- Прочитайте robots.txt и условия сайта.
- Где это требуется, честно идентифицируйте свой скрейпер и держите частоту запросов умеренной.
- Не собирайте персональные данные без правового основания.
Выберите подходящий тип IP
Серверные IP — самые дешёвые для лояльных сайтов. Ротационные резидентные IP помогают на сайтах, которые фильтруют хостинговые диапазоны. Статические ISP-IP подходят для сценариев с авторизацией. Подробнее — в руководстве о резидентных и серверных прокси.
Закладывайте возможные сбои
Ожидайте 429 (слишком много запросов), 403 и таймауты. Повторяйте запросы с экспоненциальной задержкой, переключайтесь на другой IP при повторных блокировках и логируйте код статуса по каждому IP, чтобы были видны закономерности.
import random, time, requests
PROXIES = ["http://USER:PASS@HOST1:PORT", "http://USER:PASS@HOST2:PORT"]
def fetch(url, tries=4):
for i in range(tries):
proxy = random.choice(PROXIES)
try:
r = requests.get(url, proxies={"http": proxy, "https": proxy}, timeout=15)
if r.status_code == 200:
return r.text
if r.status_code in (403, 429):
time.sleep(2 ** i + random.random())
except requests.RequestException:
time.sleep(1 + random.random())
return NoneКонтролируйте трафик
В тарифах с оплатой за ГБ блокируйте изображения, шрифты и медиа и по возможности запрашивайте JSON-эндпоинты. Измерьте выборку, чтобы спрогнозировать месячное потребление.
Прочитайте правила, прежде чем писать краулер
Начните с robots.txt, но понимайте, что это такое. Стандарт исключений для роботов (Robots Exclusion Protocol, RFC 9309) — это файл в корне каждого origin, который сообщает краулерам, какие пути им не следует запрашивать, с группировкой по user-agent; побеждает наиболее специфичное подходящее правило. Если файл возвращает статус 4xx, краулеры могут считать, что у сайта нет ограничений; если возвращает 5xx или недоступен, стандарт предписывает считать всё запрещённым, пока файл снова не заработает. Crawl-delay не входит в стандарт, и не каждый краулер его соблюдает, но если сайт его публикует, воспринимайте это как просьбу замедлиться.
robots.txt — это соглашение для краулеров, а не лицензия. Условия использования могут ограничивать автоматизированный доступ независимо от содержимого файла, а то, что вы делаете с данными, могут регулировать и другие правила: авторское право на контент, права на базы данных в некоторых юрисдикциях и законодательство о защите данных, такое как GDPR в ЕС или KVKK в Турции, если данные позволяют идентифицировать людей. Это общая информация, а не юридическая консультация; если проект коммерческий, поручите проверку квалифицированному специалисту. Никогда не обходите аутентификацию, платные стены и средства контроля доступа, а CAPTCHA или страницу «доступ запрещён» воспринимайте как сигнал замедлиться или остановиться, а не как препятствие, которое должны преодолевать инструменты.
Инструменты для проксиПроверка HTTP-заголовковЗапросите публичный URL и посмотрите заголовки его ответа, цепочку редиректов и наличие распространённых заголовков безопасности.ПодробнееСначала ограничитель частоты запросов, затем ротация
Больший пул адресов не даёт права на большую нагрузку. Сервер всё равно обрабатывает каждый запрос, а ограничения могут действовать на аккаунт, на cookie сессии, на сетевой блок или на отпечаток, а не только на IP. Задавайте бюджет на целевой хост, а не на прокси: потолок одновременных запросов (от двух до пяти — разумное начало, в качестве иллюстрации), минимальную задержку со случайным джиттером между запросами и адаптивное правило, которое вдвое снижает скорость при 429 или 503 и повышает её небольшими шагами после серии успехов — во многом как управление перегрузкой в TCP.
У вежливости есть цена во времени, которую нужно планировать и которую не устранит никакое число IP. Загрузка 100 000 страниц при 2 запросах в секунду занимает 50 000 секунд, около 13,9 часа; при 5 запросах в секунду — 20 000 секунд, около 5,6 часа. Если это слишком медленно, ответ — более узкий охват, инкрементальные обновления или договорённость с сайтом, а не больше адресов.
Повторы, которые помогают, а не вредят
Backoff с джиттером не даёт множеству воркеров повторять запросы синхронно. «Full jitter» ждёт случайное время от нуля до min(cap, base × 2^attempt), что распределяет повторы по всему окну. Если ответ 429 или 503 содержит заголовок Retry-After, в котором указано либо число секунд, либо дата HTTP, ждите не меньше этого времени. Используйте раздельные тайм-ауты подключения и чтения, ограничьте и число попыток, и общее время на URL и решите, что означает каждый статус, до того как напишете цикл:
- Повторять с backoff: тайм-ауты, сбросы соединения, 429, 502, 503 и 504. Обычно это временные сбои или просьба замедлиться.
- Повторить один раз на новом соединении или сессии: сбои, которые похожи на связанные с конкретным выходным узлом, например повторяющиеся ошибки соединения на стороне прокси.
- Не повторять: 404 и 410 означают, что страницы больше нет, поэтому фиксируйте их. 401 и 403 — это решения о доступе, а не сбои, и повторение их с многих адресов — быстрый способ добиться блокировки всего диапазона.
- 407 считайте проблемой собственной конфигурации: это прокси запрашивает учётные данные, а не сайт отказывает вам.
Приведённая ниже функция объединяет эти элементы: проверку robots.txt по описанным выше правилам статусов, backoff с полным джиттером, обработку Retry-After и политику статусов. Это шаблон для адаптации, а не готовый краулер.
import random
import time
import urllib.robotparser
import requests
UA = "ExampleBot/1.0 (+https://example.com/bot-info)"
PROXY = "http://USER:PASS@HOST:PORT"
PROXIES = {"http": PROXY, "https": PROXY}
HEADERS = {"User-Agent": UA}
robots = urllib.robotparser.RobotFileParser()
resp = requests.get("https://example.org/robots.txt", headers=HEADERS, proxies=PROXIES, timeout=15)
if resp.status_code == 200:
robots.parse(resp.text.splitlines())
elif resp.status_code >= 500:
robots.disallow_all = True
else:
robots.allow_all = True
def backoff(attempt, base=1.0, cap=60.0):
return random.uniform(0, min(cap, base * 2 ** attempt))
def polite_get(url, tries=5):
if not robots.can_fetch(UA, url):
return None
for attempt in range(tries):
try:
r = requests.get(url, headers=HEADERS, proxies=PROXIES, timeout=(5, 20))
except requests.RequestException:
time.sleep(backoff(attempt))
continue
if r.status_code == 200:
return r.text
if r.status_code in (429, 503):
wait = r.headers.get("Retry-After", "")
time.sleep(min(float(wait), 300) if wait.isdigit() else backoff(attempt))
elif r.status_code in (500, 502, 504):
time.sleep(backoff(attempt))
else:
return None
return NoneОтноситесь к каждому прокси как к компоненту с оценкой состояния
В долгом прогоне отдельные выходы выходят из строя: узел попадает под лимит, шлюз перезапускается, истекают учётные данные. Ведите счётчики на прокси или сессию (успехи, 429, 403, тайм-ауты, байты) и разделяйте сбои прокси и сбои цели. Отказ в соединении, тайм-ауты прокси, 407 и 502, сгенерированные шлюзом, указывают на прокси; 403 и 429 от сайта указывают на цель и на ваше поведение. Коды ошибок чекера прокси (auth, refused, timeout, not_http_proxy, tls и другие) используют то же разделение, так что вы можете проверить подозрительный прокси независимо от своего краулера.
Добавьте автоматический выключатель (circuit breaker). После заданного числа подряд идущих сбоев, например пяти (условно), выводите этот прокси из ротации на период остывания, например десять минут, затем проверьте его одним запросом, прежде чем вернуть. Окончательно отбрасывать прокси после первой же ошибки — значит впустую тратить оплаченную ёмкость, а непрерывно долбить сбоящий прокси — значит сжигать трафик на тарифах с учётом объёма.
Сделайте обход возобновляемым и дешевле
- Сохраняйте очередь со статусом каждого URL, числом попыток и последней ошибкой, чтобы после сбоя или развёртывания обход продолжался, а не загружал всё заново.
- Нормализуйте и дедуплицируйте URL (параметры отслеживания, порядок параметров строки запроса, завершающие слэши) до попадания в очередь.
- Используйте условные запросы: сохраняйте значение ETag или Last-Modified и в следующий раз отправляйте If-None-Match или If-Modified-Since. Ответ 304 не имеет тела, что экономит трафик на тарифах с учётом ГБ и снижает нагрузку на сайт.
- Принимайте сжатие; большинство HTTP-клиентов прозрачно обрабатывают gzip, и он обычно заметно уменьшает HTML и JSON.
- Сохраняйте необработанные ответы до разбора, чтобы ошибка парсера означала повторную обработку файлов, а не повторную трату запросов.
- Проверяйте содержимое, а не только статус: ответ 200 со страницей блокировки или формой входа — это сбой, поэтому требуйте наличия ожидаемого элемента, прежде чем засчитать страницу как успешную.
Сохраняйте внутреннюю согласованность каждой сессии
Когда вы используете sticky-сессии, дайте каждой сессии собственное хранилище cookie и держите её заголовки стабильными на всё время жизни: тот же User-Agent, тот же Accept-Language и так далее. Cookie, выданный одному адресу и предъявленный с другого, или набор заголовков, меняющийся между последовательными запросами с одного адреса, даёт сайту повод устроить вам проверку (challenge). Инструмент «Проверка user agent» на этом сайте показывает, что раскрывает браузер, включая client hints, язык и часовой пояс, и помогает увидеть, что заголовки вашего клиента говорят о нём. Согласованность означает избегание случайных противоречий в собственном клиенте; она не означает имитацию чужого ПО там, где это запрещают правила сайта.
Что отслеживать в продакшене
- Доля успехов на цель и на прокси или сессию с применением проверки содержимого.
- Перцентили задержки (медиана и 95-й), потому что средние значения скрывают медленный «хвост», который застопоривает воркеры.
- Байты на одну успешную запись и стоимость на 1000 записей, что превращает тарификацию прокси в удельную стоимость, которую можно сравнивать между типами IP.
- Доля ответов 429 и 403 во времени; растущий тренд означает, что вашей скорости или шаблону запросов требуется внимание ещё до того, как придут блокировки.
- Свежесть данных: когда каждая страница в последний раз успешно загружена по сравнению с тем, как часто её нужно обновлять.
Часто задаваемые вопросы
Почему я всё равно получаю ответы 403 на новом IP?
Адрес — лишь один из сигналов. Сайты учитывают также заголовки, особенности вашего HTTP-клиента, cookie, частоту и шаблон запросов и то, требует ли контент аккаунта. 403, повторяющийся на многих разных IP, обычно означает, что причина не в адресе, поэтому дальнейшая ротация не поможет. Замедлитесь, перечитайте условия сайта и проверьте, нет ли официального API.
Какая частота запросов безопасна?
Универсального числа нет. Начинайте с малого, например с одного запроса в секунду на хост (для иллюстрации), следите за долей ответов 429 и трендом задержки и повышайте частоту небольшими шагами. Если сайт публикует лимит частоты, квоту API или Crawl-delay в robots.txt, это и есть ваш потолок.
Можно ли собирать данные, закрытые логином?
Только с явного разрешения или для данных, к которым у вас есть право доступа, и в рамках условий сайта. Многие условия запрещают автоматизированный доступ к аккаунтам, а страницы после входа часто содержат персональные данные, на которые распространяется законодательство о защите данных. Предпочитайте официальный API или экспорт; если вам всё же нужно автоматизировать работу со своим аккаунтом, используйте статический IP, чтобы аккаунт не видели из многих мест одновременно.