Как работают ротационные прокси
Ротационный прокси выдаёт новый IP без необходимости управлять списками. Что происходит за шлюзом и как пользоваться им правильно.
При статическом прокси вы получаете список IP и сами решаете, когда использовать каждый. Ротационный прокси передаёт это решение провайдеру: ваш клиент подключается к одному адресу шлюза, а провайдер выбирает выходной IP из большого пула.
Режимы ротации
- На каждый запрос: каждое соединение выходит с другого адреса — лучше всего для загрузки без сохранения состояния.
- Sticky-сессия: один и тот же адрес сохраняется на период или идентификатор сессии — лучше всего для входа в аккаунты и многошаговых сценариев.
- По требованию: вы сами запускаете смену, например по ссылке смены IP на мобильном прокси.
Откуда берётся пул
Резидентные пулы используют домашние подключения, мобильные — SIM-карты в сетях операторов. Размер пула, географический охват и качество определяют, как часто вам достаётся адрес, который цель ещё не пометила.
Что может пойти не так
- Обрыв сессии: cookie, выданный для одного IP, может быть отклонён, когда следующий запрос придёт с другого. Для сценариев с состоянием используйте sticky-сессии.
- Несогласованные отпечатки: смена IP при сохранении того же отпечатка браузера может выглядеть странно для некоторых сайтов.
- Неясные интервалы: провайдеры по-разному описывают интервалы ротации; проверьте реальное поведение через IP-echo-эндпоинт, прежде чем строить на этом работу.
Как проверить ротацию самостоятельно
Отправьте десять запросов через шлюз на IP-echo-сервис и запишите адреса. Подсчитайте уникальные IP и понаблюдайте, как часто они меняются. Для такой проверки подходят инструменты проверки прокси и проверки IP-адреса на этом сайте.
Инструменты для проксиПроверка IP-адресаПосмотрите, какой публичный IP-адрес видит сервер для вашего подключения, IPv4 это или IPv6 и какие заголовки, связанные с прокси, несёт ваш запрос.ПодробнееМобильная или резидентная ротация
Мобильные пулы обладают наивысшим доверием, но медленнее и тарифицируются по объёму. Резидентные пулы шире и доступны в тарифах с безлимитным трафиком на определённое время. Выберите тот, чей компромисс соответствует вашей нагрузке.
Внутри шлюза: что происходит с одним запросом
Большинство ротационных тарифов построено на backconnect-шлюзе: это один хост и порт, которые вы настраиваете один раз и за которыми стоит большой пул выходных узлов. Ваш клиент проходит аутентификацию на шлюзе, шлюз выбирает выходной узел в соответствии с параметрами сессии, привязанными к вашим учётным данным, и ретранслирует ваше соединение к адресу назначения. Сайт видит только адрес выходного узла. Поскольку адрес, к которому вы подключаетесь, никогда не меняется, вашему коду не нужен список IP, но ротация теперь происходит на стороне провайдера, где единственное свидетельство, которое вы получаете, — это то, что сообщает пункт назначения.
На практике важны два следствия. Во-первых, в большинстве схем шлюзов выходной узел выбирается при открытии нового соединения, а не для каждого байта. HTTPS-запрос через HTTP-прокси — это один CONNECT-туннель, поэтому все запросы, которые ваш клиент отправляет по этому туннелю, включая последующие запросы к тому же хосту по постоянному (keep-alive) соединению, уходят с одного и того же выходного IP даже на «ротационном» тарифе. Во-вторых, повторная попытка, использующая то же соединение, адрес не сменит, поэтому «повторить с новым IP» должно означать «повторить на новом соединении».
Sticky-сессии: метки, время жизни и незаметные смены
Sticky-сессия — это, как правило, привязка метки сессии к выходному узлу на ограниченное время. Способ передачи метки (в имени пользователя, отдельным портом или через настройку в панели) у разных сервисов различается, поэтому никогда не копируйте формат другого провайдера. У BuyProxy в резидентных тарифах указаны и ротационные, и sticky-сессии, но точный формат метки и максимальная длительность sticky-сессии на этом сайте не опубликованы; прежде чем строить на них рабочий процесс, уточните у отдела продаж в WhatsApp.
Относитесь к любой длительности sticky-сессии как к потолку, а не как к обещанию. В резидентном пуле выходной узел — это домашнее подключение, которое может отключиться в любой момент, а мобильный выход может измениться при повторном подключении SIM-карты. В таком случае шлюз назначает другой узел, и ваша сессия продолжается с другого адреса. Проектируйте клиент так, чтобы неожиданная смена адреса не оказалась фатальной:
- Храните состояние рабочего процесса (cookie, токены, курсоры пагинации) в собственном хранилище по ключу задачи, а не рассчитывайте на неизменность IP.
- Получайте выходной IP один раз в начале многошагового сценария и снова — всякий раз, когда появляется проверка при входе или ошибка сессии, чтобы отличить смену узла от настоящего отказа.
- Делайте сценарии перезапускаемыми с последнего безопасного шага, а не с самого начала.
- Выдавайте каждому параллельному воркеру собственную метку сессии: общая метка у нескольких воркеров смешивает их трафик на одном выходе и ломает любой бюджет запросов на один IP.
Измеряем поведение ротации скриптом
Тест из десяти запросов в статье выше показывает, меняются ли адреса. Приведённый ниже скрипт заодно показывает, почему иногда они не меняются: он сравнивает новые соединения с повторно используемым. Запускайте его через шлюз со своими учётными данными; он обращается к IP-echo-эндпоинту, поэтому каждый ответ — это выходной адрес, который увидел бы сайт.
import collections
import requests
GATEWAY = "http://USER:PASS@GATEWAY_HOST:PORT"
PROXIES = {"http": GATEWAY, "https": GATEWAY}
ECHO = "https://api.ipify.org"
def sample(n, reuse):
seen = []
session = requests.Session() if reuse else None
for _ in range(n):
get = session.get if reuse else requests.get
seen.append(get(ECHO, proxies=PROXIES, timeout=20).text.strip())
return seen
for reuse in (False, True):
ips = sample(20, reuse)
print("reused connection:", reuse, "| unique:", len(set(ips)), "of", len(ips))
print(collections.Counter(ips).most_common(3))Читайте две строки результата вместе. Если прогон с новыми соединениями показывает в основном уникальные адреса, а прогон с сессией — один-два, ротация происходит на уровне соединения, а пул соединений вашей HTTP-библиотеки её скрывает. Если оба прогона показывают небольшой набор повторяющихся адресов, пул, доступный для вашего тарифа или таргетинга, узкий. Некоторая доля повторов нормальна: при эффективном пуле в 1000 адресов (условная цифра) вероятность хотя бы одного повтора в 20 выборках составляет около 1 − e^(−190/1000), то есть примерно 17 процентов, потому что 20 выборок содержат 190 пар. Оценивайте ротацию по доле уникальных адресов на сотнях запросов, а не по одной выборке.
Подбор режима ротации под нагрузку
Выбирайте режим ротации по тому, что сервер помнит между вашими запросами, а не по привычке. Чем больше состояния сервер привязывает к адресу, тем меньше следует ротировать.
- Публичные страницы без состояния (листинги, результаты поиска, публичный JSON): новое соединение на каждый запрос, без метки сессии и с допустимостью редких повторов адреса.
- Постраничные обходы с серверным курсором: одна sticky-сессия на весь обход, которая освобождается по его окончании.
- Сценарии входа, корзины или оформления заказа, где cookie привязаны к адресу: sticky-сессия на весь сценарий либо статический ISP- или мобильный IP, если аккаунт должен сохранять один адрес в течение нескольких дней.
- Долгоживущие соединения, такие как WebSocket или стриминг: sticky-сессия плюс логика переподключения, потому что ротация посреди потока разрывает соединение.
- Проверка одной страницы из нескольких стран: для каждого прогона запрашивайте другую страну вместо повторного использования сессии и записывайте, из какой страны получен каждый результат.
Пулы с учётом объёма: считаем стоимость ротации
Ротация и тарификация взаимосвязаны. Резидентные тарифы за ГБ (5, 10, 50, 100, 200 и 300 ГБ) имеют 30-дневный срок использования, ротационные мобильные пакеты на 5, 10 и 100 ГБ покупаются однократно, а безлимитные ротационные мобильные оплачиваются помесячно; безлимитные ротационные резидентные тарифы доступны с суточным, недельным и месячным сроком. На любом тарифе с учётом объёма каждая повторная попытка расходует трафик, включая небольшие страницы-блокировки, которые вы выбрасываете.
Расчётный пример с условными числами: 100 000 загрузок страниц в среднем по 250 КБ дают 25 ГБ. Если для 15 процентов загрузок нужна одна повторная попытка полного размера, итого получается около 28,75 ГБ, поэтому тарифа на 50 ГБ хватит на весь прогон, а тариф на 10 ГБ закончится примерно на трети пути. Отслеживайте байты на одну успешную запись, а не байты на запрос, и сравнивайте этот показатель после каждого изменения заголовков, блокировки ресурсов или политики повторов.
Часто задаваемые вопросы
Почему я дважды подряд получил один и тот же IP-адрес?
Пулы возвращают дубликаты, а повторно используемое соединение сохраняет свой выход, так что оба случая нормальны. Сравните прогон с новыми соединениями и прогон с сессией с помощью скрипта выше и оценивайте долю уникальных адресов на сотнях запросов. Узкий таргетинг по стране или городу сокращает пригодный пул, из-за чего повторы встречаются чаще.
Есть ли ограничение на число параллельных соединений со шлюзом?
Лимиты параллельности для каждого тарифа на этом сайте не опубликованы, поэтому перед запуском крупной задачи уточните у отдела продаж в WhatsApp. На практике наращивайте параллельность шагами и следите за кодами ошибок и тайм-аутами на каждом шаге; чекер прокси сообщает такие коды, как auth, refused и timeout. Прекратите наращивать параллельность, когда ошибки растут быстрее пропускной способности.
Когда статический список лучше ротационного шлюза?
Выбирайте статический список, когда нужен адрес, к которому можно привязать активность на протяжении нескольких дней, когда вы хотите воспроизвести результат с известного IP или когда ваша модель затрат считается за адрес, а не за ГБ. Выбирайте ротационный шлюз для объёмных задач без состояния, распределённых по множеству сайтов или локаций. Многие проекты используют оба варианта: статические IP для аккаунтов и ротационный пул для публичных данных.