解决方案

稳定可靠的网页爬取代理

爬虫失败的原因是可预见的:单一地址发出的请求过多、地址看起来像自动化程序,以及会话中途中断。选对代理类型可以解决前两个问题;良好的爬虫设计则解决第三个。

网页爬取
住宅代理起价 TRY 350 / 月

挑战

这项任务难在哪里

  • 单 IP 速率限制

    网站会限制单个地址能发送的请求数。把流量集中在一个 IP 上,几分钟内就会被限速或封锁。

  • IP 信誉评分

    带防御的网站会把地址分为数据中心、住宅或移动,并从第一个请求起就区别对待。

  • 依赖地区的内容

    价格、库存和结果会因访客所在国家而变化,因此只在单一地点运行的爬虫只能看到网络的其中一个版本。

思路

合适的代理如何提供帮助

  1. 让 IP 类型匹配目标

    容忍度高的网站和 API 用数据中心 IP,受保护的消费类网站用轮换住宅 IP,需要稳定身份时用 ISP IP。

  2. 有意识地轮换或保持

    无状态抓取时每次请求都轮换;当登录、购物车或分页流程必须保持同一地址时,使用粘性会话。

  3. 定位到正确的国家

    住宅套餐标注支持国家级定位,让您采集到目标受众看到的页面版本。

深入了解

决定成败的细节

爬虫规模估算:IP 预算与带宽预算

每个爬取任务都有两个相互独立的上限。IP 预算是指单个地址在目标网站开始限流之前每分钟可以发送多少请求;这个数字必须实测,此处以示例网站按 4 次计。带宽预算则是您传输的字节总量,仅在按流量计费的套餐中才有意义。以每天 24,000 个页面为例(仅作示意),约合每分钟 17 次请求。按每个 IP 每分钟 4 次请求计算,大约需要五个地址,因此即便是最小的 IPv4 数据中心代理套餐——30 个 IP,每月 250 TRY——每个地址也只需承担约每分钟 0.6 次请求。

住宅代理的计费会颠倒这笔账,因为您为流量(GB)付费,而不是为地址付费。同样的 24,000 个页面,按示意值每页 150 KB 计算,每天 3.6 GB,30 天周期内共 108 GB。这比 100 GB 套餐(3,500 TRY)多出 8%,会迫使您升级到 200 GB 套餐(7,000 TRY),因此去掉图片、字体和跟踪脚本比看上去更划算。如果控制在 100 GB 以内,每页成本约 0.005 TRY,而 30 个 IP 的数据中心套餐约为 0.0003 TRY。

规模很大且持续稳定的任务又会改变逻辑。不限流量的轮换住宅套餐以固定价格换取无限流量:月套餐价格为 75,000 TRY,按 300 GB 套餐每 GB 30 TRY 的费率折算相当于 2,500 GB,约合每天 83 GB。低于该用量时,按 GB 计费的套餐更便宜;高于该用量,不限流量套餐在账面上更划算。不限流量使用的条款,例如合理使用限制或并发上限,本站并未公布,因此在围绕这一假设搭建数据管道之前,请先通过 WhatsApp 咨询销售。

情形起决定作用的限制应优先核算的套餐系列
容忍度高的网站,页面数量极大每个 IP 每分钟的请求数IPv4 数据中心代理套餐(30 至 1,000 个 IP)
受保护的消费类网站,中等用量流量(GB)与封锁率住宅代理套餐(5 至 300 GB)
受保护的网站,持续的超大用量规模化后的每 GB 成本不限流量轮换住宅(按日、按周、按月)
移动网络内容或受运营商信任的端点地址信任度与配额轮换移动流量包(5、10、100 GB)或不限流量月套餐
在稳定身份之下登录您自己的账号会话连续性ISP 代理(静态土耳其 IP)

会话、重试与退避设计

轮换策略应由状态单位决定,而不是出于习惯。无状态的抓取,例如商品页或搜索结果,每次都可以从不同的 IP 发出。有状态的流程,例如登录、绑定会话的分页令牌或购物车,则必须停留在同一个地址上,因此请在住宅代理套餐中申请粘性会话,或使用静态 ISP 代理 IP。每个出口 IP 保留一个独立的 Cookie 容器,因为用一个地址的 Cookie 在另一个地址上重放,是会话被判定失效的常见原因。使用数据中心套餐时,轮换需要您自己实现,例如轮询并为每个 IP 设置冷却时间。

按类别处理失败。连接错误、超时和 407 响应(需要代理身份验证)指向代理链路或您的凭据,而不是被封锁。403、429,或带有验证挑战的 200 页面,则指向目标网站。遇到 429 时,如有 Retry-After 响应头就遵照执行;否则采用带随机抖动的指数退避,例如约 2、4、8 和 16 秒,并换一个不同的 IP 重试,而不是反复冲击同一个 IP。每个 URL 的重试上限设为三到四次,避免持续被封锁时把 GB 套餐的流量烧光。

代理只改变网络路径。您的 HTTP 客户端的 TLS 握手、请求头顺序和协议版本,仍会通过 CONNECT 隧道原样到达目标,因此看上去像脚本的客户端,换成住宅 IP 后看上去依然像脚本。保持请求头自洽,使用真实浏览器的 User-Agent 并搭配一致的 Accept-Language;通过 keep-alive 复用连接,避免每次请求都重新握手;只在页面确实需要 JavaScript 时才使用无头浏览器,因为完整渲染所消耗的字节通常是原始 HTML 的数倍。

200 状态码并不能证明成功。只有当响应包含您预期的字段时,才把它计为成功。

监控整个代理队列并证明其有效

在第一次正式运行之前,先验证每个端点。免费的代理检测工具每次请求最多可检测 10 个代理,自动识别 HTTP 或 SOCKS5,并报告出口 IP、延迟和错误代码,因此一次就能筛查一整批。这些代码能清晰区分原因:auth 表示凭据错误,refused 或 timeout 表示端点或端口不可达,connect_denied 或 tls 则指向隧道本身。然后在使用该代理的浏览器中打开 IP 地址检测工具,确认目标网站将看到的地址,并在轮换端点上重复一次,确认地址确实会变化。

在生产环境中,每个请求记录一行:目标域名、IP 类型、出口 IP 或其哈希值、状态码、字节数、延迟、重试次数以及内容有效标记。基于这张表,您可以按域名和 IP 类型计算封锁率,并把表现差的地址从列表中剔除,例如在至少 100 次请求中有效响应低于 80% 的地址——这个阈值应根据您的目标网站自行调整。针对趋势而不是单次失败发出告警:封锁率在一小时内翻倍,通常意味着目标网站调整了规则,而不是网络故障。

轮换只是分摊负载,并不等于获得许可。如果网站要求您停止,或提供了官方数据源,请使用官方渠道。

实施手册

实用的实施计划

从首次测试到稳定、可监控运行的四个步骤。

  1. 优先寻找获准的数据源

    先查看是否有官方 API、数据源或批量导出,并在构建任何东西之前阅读 robots.txt 和服务条款。您真正需要的字段,往往决定整个设计。

  2. 按 IP 类型做试运行

    在成本最低的候选类型上抓取 500 至 1,000 个有代表性的 URL,记录有效内容率、每页字节数和延迟。只有结果达不到您的阈值时,才升级到下一种类型。

  3. 按域名设定限制

    设定最大并发数、每分钟请求数和每个 IP 的冷却时间,加入带抖动的延迟,并在遇到 429 和 5xx 响应时采用指数退避。

  4. 分步扩容,每周复盘

    只有在封锁率保持在阈值之下时才将用量翻倍,并每周比较每千个有效页面的成本,让更换套餐成为基于数据的决定。

场景示例

实际应用是什么样

仅为示例:数字是用于说明思路的假设,并非实测结果。

公开目录爬取

一个研究团队用一周时间爬取 300,000 个公开目录页面,约每小时 1,800 个。他们把任务分散到一个 IPv4 数据中心代理套餐的 100 个 IP 上(每月 400 TRY),每个 IP 约每小时 18 次请求,采用轮询并设置冷却时间。该速率仅为示意:网站的真实容忍度必须通过试运行来测定。

受保护的零售类目页面

针对一家会拒绝数据中心 IP 段的零售商做试运行,数据中心 IP 的请求有 40% 返回有效页面,住宅 IP 为 95%(示意数据)。按每页约 200 KB 计算,一个 50 GB 的住宅代理套餐(2,500 TRY)大约可覆盖 250,000 个页面,即每页 0.01 TRY。团队只对这家零售商使用住宅 IP,其余网站继续使用数据中心 IP。

从合作伙伴门户进行授权导出

一个财务团队每天从合作伙伴门户下载报表,团队持有登录凭据,且该门户的条款允许自动化导出。由于门户会把会话绑定到某个地址,该任务固定使用 3 个 IP 的 ISP 代理套餐(每月 180 TRY)中的一个静态 IP,并使用单一的 Cookie 容器。换用任何其他地址,都可能在每次运行时触发重新认证提示。

需要衡量什么

从第一天起就跟踪这些指标,让问题以数据而非意外的形式出现。

  • 按域名和 IP 类型统计的有效内容率,以是否出现预期字段而不是 HTTP 200 来计数。
  • 封锁率,即以 403、429 或验证页面告终的请求占比,按 IP 类型和小时分别追踪。
  • 每 1,000 个有效页面的成本,综合套餐价格、重试和浪费的字节。
  • 每页字节数的平均值和第 95 百分位数,它决定 GB 套餐的规格。
  • 重试比例和第 95 百分位延迟,因为这些数值上升往往先于硬性封锁出现,预示着限流。

常见错误

会浪费预算或导致被封锁的常见做法。

  • 把 HTTP 200 当作成功,导致软封锁和空模板在不知不觉中污染数据集。
  • 在需要保持状态的流程中途轮换 IP,使令牌失效并被迫重新认证。
  • 收到 429 后立刻在同一个 IP 上重试,把速率限制变成封锁。
  • 在按 GB 计费的套餐上下载图片、字体和跟踪脚本,成本成倍增加却没有任何数据价值。
  • 按池的大小而不是实测的单 IP 容忍度来购买,导致容量要么浪费,要么不足。

实用建议

  • 遵守 robots.txt 和公布的条款;许多网站提供 API。
  • 按域名限速,并加入随机抖动,而不是集中爆发式请求。
  • 在按 GB 计量的套餐上,屏蔽图片和媒体以节省带宽。
  • 按 IP 记录 HTTP 状态码,以便尽早发现封锁。

请负责任地使用代理

只采集您有权访问的数据,遵守速率限制和隐私法规,绝不能用代理攻击、使服务过载或欺诈。滥用可能导致您失去访问权限。

常见问题

常见疑问

哪种代理最适合爬取?

取决于目标。容忍度高的网站用数据中心代理,受保护的网站用轮换住宅代理,需要稳定会话时用 ISP 代理。首页的对比表总结了各自的取舍。

我需要多少个代理?

用您所需的每分钟请求数,除以目标网站对单个 IP 的安全速率。先从小规模开始,测量封锁率,再逐步扩大。

爬取合法吗?

这取决于数据、网站条款和您所在的司法管辖区。商业项目请咨询法律意见;代理不会改变合法性。

使用数据中心套餐时,轮换必须由我自己实现吗?

是的。IPv4 数据中心代理套餐提供的是一组使用用户名和密码认证的静态地址,不带自动轮换。请在您自己的代码中实现轮换,例如轮询并为每个 IP 设置冷却时间。轮换住宅端点则会为您自动更换出口地址。

爬取应该用 HTTP 还是 SOCKS5?

大多数爬取库原生支持 HTTP 代理,HTTPS 页面会作为 CONNECT 隧道通过。SOCKS5 适用于非 HTTP 流量,或只支持它的工具。对于数据中心和住宅套餐,协议支持情况来自服务商的列表,结账时没有协议选项,因此在围绕某种协议搭建系统之前,请通过 WhatsApp 向销售确认。

如何爬取大量依赖 JavaScript 的页面,又不耗尽 GB 套餐?

先查找页面中内嵌的结构化数据,或页面自身公开调用的 JSON 端点,它们比完整渲染轻得多。如果必须使用无头浏览器,请屏蔽图片、字体和媒体,并在多次运行之间缓存静态资源。选择套餐规格之前,先用小样本测量每页字节数。

企业

需要大批量、定制地区或便于采购的方案?

欢迎与销售洽谈大量 IP、长期合同和专属对接服务。告诉我们目标国家和流量情况,我们将提出合适的方案。