轮换代理如何工作

轮换代理无需您管理列表就能给您一个新的IP。本文介绍网关背后发生了什么,以及如何用好它。

阅读约 12 分钟

使用静态代理时,您会收到一份IP列表,并自己决定何时使用哪一个。轮换代理把这个决定交给服务商:您的客户端连接到一个网关地址,由服务商从大型代理池中选择出口IP。

轮换模式

  • 逐请求:每个连接都从不同的地址发出——最适合无状态抓取。
  • 粘性会话:在一段时间或一个会话ID内保持同一个地址——最适合登录和多步骤流程。
  • 按需:由您自己触发更换,例如使用移动代理上的IP更换链接。

代理池来自哪里

住宅代理池使用家庭宽带连接,移动代理池使用运营商网络上的SIM卡。代理池规模、地理分布和质量,决定了您拿到目标尚未标记过的地址的频率。

可能出什么问题

  • 会话中断:发给某个IP的Cookie,在下一个请求从另一个IP到达时可能被拒绝。有状态的流程请使用粘性会话。
  • 指纹不一致:更换IP却保持同一个浏览器指纹,对某些网站来说可能显得异常。
  • 时间不明确:各服务商对轮换间隔的描述不同;在基于它构建方案之前,先用IP回显端点验证真实行为。

自行测试轮换

通过网关向IP回显服务发送十个请求并记录这些地址。统计不重复的IP数量,并观察它们变化的频率。本站的代理检测和IP地址检测工具适合做这类测试。

代理工具IP 地址检测查看服务器看到的您连接所使用的公网 IP 地址,它是 IPv4 还是 IPv6,以及您的请求携带了哪些与代理相关的请求头。了解更多

在移动与住宅轮换之间选择

移动代理池信任度最高,但速度较慢且按流量计费。住宅代理池范围更广,并提供按时间计费的不限流量套餐。请选择其取舍与您的工作负载相匹配的那一种。

网关内部:一次请求会经历什么

大多数轮换套餐都建立在回连(backconnect)网关之上:您只需配置一次主机名和端口,网关背后是一个庞大的出口节点池。客户端向网关认证,网关根据附加在您凭据上的会话设置选择一个出口节点,并将您的连接中继到目标站点。网站看到的只是出口节点的地址。由于您拨号的地址始终不变,您的代码无需维护 IP 列表;但轮换现在发生在线路的服务商一侧,您能得到的唯一证据,就是目标站点反馈回来的信息。

有两点在实践中很重要。第一,在大多数网关设计中,出口是在打开新连接时选定的,而不是对每个字节都重新选择。通过 HTTP 代理发起的 HTTPS 请求是一条单独的 CONNECT 隧道,因此您的客户端沿这条隧道发送的每一个请求,包括通过保持连接(keep-alive)对同一主机发出的后续请求,即使在“轮换”套餐上也会从同一个出口 IP 发出。第二,复用连接的重试不会更换地址,所以“换一个新 IP 重试”必须理解为“用新连接重试”。

粘性会话:标签、时效与悄然变化

粘性会话通常是在有限时效内,把一个会话标签映射到某个出口节点。标签的传递方式(放在用户名中、使用单独的端口,或通过面板设置)因服务而异,因此切勿照搬其他服务商的格式。就 BuyProxy 而言,住宅套餐同时列出了轮换会话和粘性会话,但确切的标签格式和最长粘性时长并未在本站公布;在基于它们构建工作流之前,请先通过 WhatsApp 询问销售。

请把任何粘性时长都视为上限,而不是承诺。在住宅 IP 池中,出口是一条家庭宽带连接,随时可能离线;移动出口则可能在 SIM 重新连接时发生变化。此时网关会分配另一个节点,您的会话将从另一个地址继续。请把客户端设计成能够承受意外的地址变化:

  • 将工作流状态(Cookie、令牌、分页游标)保存在您自己的存储中,并按任务设键,而不是指望 IP 保持不变。
  • 在多步骤流程开始时获取一次出口 IP,并在出现登录质询或会话错误时再获取一次,这样您就能分辨是节点变更还是真正的拒绝。
  • 让流程能够从上一个安全步骤重新开始,而不必从头来过。
  • 为每个并发工作进程分配各自的会话标签;多个工作进程共用一个标签,会让它们的流量交织在同一个出口上,并破坏任何按 IP 设定的速率预算。

用脚本测量轮换行为

上方文章中的十次请求测试能告诉您地址是否变化。下面的脚本还能通过比较全新连接与复用连接,说明地址为什么有时不变。请使用您自己的凭据针对网关运行它;脚本调用的是 IP 回显端点,因此每个响应都是网站实际会看到的出口地址。

Python
import collections
import requests

GATEWAY = "http://USER:PASS@GATEWAY_HOST:PORT"
PROXIES = {"http": GATEWAY, "https": GATEWAY}
ECHO = "https://api.ipify.org"

def sample(n, reuse):
    seen = []
    session = requests.Session() if reuse else None
    for _ in range(n):
        get = session.get if reuse else requests.get
        seen.append(get(ECHO, proxies=PROXIES, timeout=20).text.strip())
    return seen

for reuse in (False, True):
    ips = sample(20, reuse)
    print("reused connection:", reuse, "| unique:", len(set(ips)), "of", len(ips))
    print(collections.Counter(ips).most_common(3))

请把两行结果放在一起看。如果全新连接的那一轮大多是互不相同的地址,而会话那一轮只出现一两个,说明轮换是按连接进行的,而您的 HTTP 库的连接池把它掩盖了。如果两轮都只出现一小组反复出现的地址,说明您的套餐或定位条件可用的 IP 池很窄。出现一定程度的重复是正常的:假设有效 IP 池为 1,000 个地址(仅为示意数字),那么 20 次抽取中至少出现一次重复的概率约为 1 − e^(−190/1000),大约 17%,因为 20 次抽取包含 190 个配对。请根据数百次请求中的唯一地址比例来判断轮换效果,而不是依据一次采样。

让轮换方式匹配工作负载

请根据服务器在两次请求之间会记住什么来选择轮换模式,而不是凭习惯。服务器把越多状态绑定到某个地址上,就越不应该轮换。

  • 无状态的公开页面(列表页、搜索结果、公开 JSON):每次请求使用全新连接,不带会话标签,并容忍偶尔出现重复地址。
  • 带服务器端游标的分页爬取:整个遍历过程使用一个粘性会话,遍历结束时释放。
  • Cookie 绑定到地址的登录、购物车或结账流程:整个流程使用一个粘性会话;如果账号必须连续数日保持同一地址,则使用静态 ISP 或移动 IP。
  • WebSocket 或流媒体等长连接:使用粘性会话并加上重连逻辑,因为在流传输中途发生轮换会使连接中断。
  • 从多个国家检查同一页面:每次运行请求不同的国家定位,而不是复用会话,并记录每个结果来自哪个国家。

计量 IP 池:核算轮换的成本

轮换与计费相互影响。住宅 GB 套餐(5、10、50、100、200 和 300 GB)的使用期为 30 天,轮换移动流量包(5、10 和 100 GB)为一次性购买,不限流量轮换移动套餐按月计费;不限流量轮换住宅套餐则有按日、按周和按月的周期。在任何计量套餐上,每次重试都会消耗流量,包括那些被您丢弃的小型拦截页面。

用示意数字做一个算例:100,000 次页面抓取,平均每次 250 KB,合计 25 GB。如果 15%的抓取需要进行一次完整大小的重试,总量约为 28.75 GB,因此 50 GB 的套餐可以覆盖这次任务,而 10 GB 的套餐大约在完成三分之一时就会耗尽。请跟踪每条成功记录消耗的字节数,而不是每次请求的字节数,并在每次更改请求头、资源拦截或重试策略之后比较这个数字。

常见问题

为什么我连续两次拿到了同一个 IP 地址?

IP 池会返回重复地址,而复用的连接会保持其出口,因此这两种情况都是正常的。请用上面的脚本比较全新连接的一轮与会话的一轮,并根据数百次请求中的唯一地址比例来判断。过窄的国家或城市定位会缩小可用 IP 池,从而使重复更频繁。

连接网关的并行连接数有限制吗?

各套餐的并发限制未在本站公布,因此在规划大型任务之前,请通过 WhatsApp 询问销售。实际操作中,请分步提高并发,并在每一步观察错误码和超时;代理检测工具会报告 auth、refused 和 timeout 等错误码。当错误增长得比吞吐量更快时,就不要再提高并发了。

静态列表什么时候比轮换网关更合适?

当您需要一个能在数日内保持可归属的稳定地址、需要从已知 IP 复现某个结果,或者您的成本模型按地址而不是按 GB 计算时,请选择静态列表。对于分布在众多网站或地点的高并发、无状态任务,请选择轮换网关。许多项目两者并用:账号使用静态 IP,公开数据使用轮换 IP 池。

不确定哪个套餐适合?

请描述您的使用场景和目标国家,我们会为您推荐产品 — 如果其他类型更适合您,我们也会如实相告。