代理最重要的属性是其出口IP的来源。数据中心代理使用托管公司的地址;住宅代理使用分配给家庭宽带连接的地址。网站通常能分辨两者,这就带来了不同的取舍。
数据中心代理
- 速度快、稳定,单个IP成本低。
- 易于识别:地址段在公开记录中归属于托管网络。
- 最适合宽容的目标、API、批量抓取、QA以及您自己的基础设施。
住宅代理
- 地址来自家庭ISP,因此流量与普通访客相似。
- 通常按GB计费,带轮换和国家定位。
- 更慢且波动更大,因为底层连接是消费级线路。
- 最适合有防护的消费类网站、地域定向采集和广告验证。
ISP代理的位置
ISP代理是注册在住宅服务商名下、但托管在服务器硬件上的静态地址。它们介于两者之间:像数据中心代理一样稳定快速,同时具有ISP注册的信誉。适合账号工作和长时间会话。
实用决策指南
- 目标对自动化流量宽容吗?先用数据中心代理,并测量封锁率。
- 它会过滤数据中心地址段,或者您需要自己所在国家以外的国家?使用住宅代理。
- 您需要数天或数周保持一致的身份吗?使用ISP或移动代理。
- 信任度是首要考虑、速度其次吗?使用移动代理。
网站如何区分这两类
这种分类主要是一种登记工作。每个公网 IPv4 地址都由某个自治系统宣告,注册机构的数据会指明其背后的组织。商业 IP 情报数据库在这些原始数据的基础上加入自己的研究,并为每个地址段标注类型,例如托管、消费者 ISP、企业或移动。查询这类数据库的网站,在第一个请求时就能判断访问者是否来自托管地址段。本站的 IP 信息工具会显示任意 IP 的注册机构(RDAP)数据、反向 DNS 和地址类别,这正是这些数据库起步所用的原材料。它是注册机构数据,而不是地理定位,因此无法告诉您数据库会把该地址归到哪个城市。
IP 类型并不是唯一的信号。网站还会观察每个地址和每个子网的请求频率、您的客户端库的 TLS 和 HTTP/2 指纹、请求头顺序、Cookie 处理方式,以及 JavaScript 是否运行。由脚本驱动、每秒发送 50 个请求的住宅地址看起来依然像脚本,而以人类节奏配合真实浏览器使用的数据中心地址,往往能被宽容的网站接受。请把 IP 类型看作决定您起始信誉的因素,而不是最终结果。
邻居命运与共
数据中心地址段是以连续块分配的,防御方对此心知肚明。当同一个/24(一个包含 256 个地址的块)内的许多地址出现不当行为时,网站可能会封锁整个块或整个托管网络,而不是逐个追查 IP。对您来说,这意味着一批连续的地址可能一起失效,而分布在多个子网中的一批地址则会更平缓地衰减。请询问某个套餐的地址是如何分布的;例如,BuyProxy 的 ISP 套餐来自混合子网,销售可以告诉您其他系列的情况。住宅池则带有相反的风险:这个地址一分钟前还属于别人,其近期历史不在您的掌控之内。
每个成功页面的成本,而不是每个套餐的价格
数据中心套餐按 IP 数量计价且流量不限,而住宅套餐按 GB 计价,所以只有把两者都换算成每 1,000 个成功页面的成本才能比较。以一个示例任务为例:100,000 个页面,每个约 120 KB。如果数据中心 IP 的请求成功率为 70%,住宅 IP 为 97%(示意数字,并非实测),失败的请求需要重试,因此数据中心大约需要 142,857 个请求,住宅大约需要 103,093 个。
在按 GB 计费的套餐上,103,093 个 120 KB 的请求约合 12.4 GB,因此 50 GB 的套餐规格足以覆盖该任务并为重试留有余量,而 10 GB 的规格则不够。在数据中心一侧,流量不产生额外费用,但 42,857 次重试会耗费时间,并给您的 IP 带来额外负载。哪个选项更便宜取决于价格页面上的实际价格,所以请用这些价格运行同样的算术:总成本除以成功页面数,再乘以 1,000。
吞吐量:需要多少个 IP
对于数据中心或其他静态 IP,容量等于地址数量乘以每个地址的安全请求速率。如果某个目标每个 IP 大约能容忍每 5 秒一个请求(示意),那么 100 个 IP 可维持每秒 20 个请求,因此 400,000 个页面大约需要 20,000 秒,即 5.6 小时。把安全速率减半,达到同样时长就需要两倍的 IP。数据中心套餐提供 30、100、250 和 1,000 个 IP 的规格,所以这个算术可以直接对应到套餐规格。住宅轮换套餐则反过来:您不需要数 IP,因为池很大,限制变成了您的 GB 额度和 30 天的使用期。
各类 IP 的失败特征
- 数据中心:第一个请求就出现 403 或 CAPTCHA,相邻 IP 出现相同的失败,在宽容的目标上速度极佳。
- 住宅轮换:大多数请求成功,偶有零星失败,响应时间分布更广,当轮换到较弱的连接时偶尔出现响应缓慢或会话中断。
- 两种类型:429 响应取决于您的请求速率,而不是 IP 类型。在更换代理类型之前,请先放慢速度。
- 国家或城市错误:IP 数据库与服务商的定位设置不一致。请用 IP 信息工具和另一个来源核对该地址,然后向销售反馈。
在同一条流水线中混用类型
很少有严肃的流水线在所有环节都只使用一种类型。常见的模式是逐级升级:每个请求从可行的最便宜层级开始,只有在反复被封锁之后才把某个域名转到更强的层级,并按域名记住这一决定,这样就不会再为失败的尝试付费。下面的草图先尝试数据中心,在遇到 403 或 429 时回退到住宅。请像在您平常的抓取程序中那样添加重试和异常处理,并把 ISP 或移动 IP 留给需要登录的工作,因为在这类场景中,稳定的身份比数量更重要。
import requests
POOLS = {
"datacenter": "http://user:pass@dc.proxy.example.com:8080",
"residential": "http://user:pass@res.proxy.example.com:8080",
}
tier_for_domain = {}
def fetch(url, domain):
tiers = ["datacenter", "residential"]
if tier_for_domain.get(domain) == "residential":
tiers = ["residential"]
for tier in tiers:
proxy = POOLS[tier]
r = requests.get(url, proxies={"http": proxy, "https": proxy}, timeout=20)
if r.status_code not in (403, 429):
tier_for_domain[domain] = tier
return r
return None常见问题
住宅代理在避免封锁方面总是更好吗?
不是。许多目标在合理的节奏下接受数据中心流量,而如果客户端的行为像机器人,住宅地址也帮不上忙。住宅池还可能带有您之前使用该地址的那户家庭的近期历史。在支付更高的按 GB 费用之前,请先在您自己的目标上测量成功率。
为什么住宅 IP 的城市在不同查询网站上不一致?
城市级地理定位来自商业数据库,它们根据注册机构数据和其他来源估算位置,结果往往不一致,对移动地址段和最近重新分配的地址段尤其如此。住宅套餐的国家和州定位是服务商的声明。如果您需要特定的城市、运营商或 ASN,请在下单前通过 WhatsApp 咨询销售。
数据中心套餐的流量不限,是否意味着速度不限?
不是。流量不限指没有 GB 计量,而速度是另一项指标;数据中心套餐最高列出 100 Mbit。列出的上限不是实测结果,并且由您的并行连接共享。请从您自己的位置针对真实目标测试吞吐量。