解决方案

用于数据采集的代理

研究、分析和机器学习管线都依赖大量公开数据。代理消除了单 IP 的瓶颈,并提供您的数据集所需的地区视角,使数据采集变得可预期。

数据采集
IPv4 数据中心代理起价 TRY 250 / 月

挑战

这项任务难在哪里

  • 吞吐量瓶颈

    单个 IP 限制了任何管线从同一来源每分钟能拉取的页面数。

  • 来源多样性

    有些来源欢迎自动化,而另一些则会严厉过滤数据中心地址。

  • 覆盖面与偏差

    当内容因地区而异时,只从一个地点采集会得到有偏差的数据集。

思路

合适的代理如何提供帮助

  1. 对 IP 分层使用

    把大批量流量交给数据中心或 IPv6 IP,住宅 IP 则留给确实需要的来源。

  2. 按地区分布

    利用住宅定位功能,对各个目标国家中呈现的内容进行抽样。

  3. 围绕轮换做规划

    无状态抓取选择轮换 IP 池,需要登录的采集则用静态 IP。

深入了解

决定成败的细节

管道设计:让数据源决定使用哪种代理池

如果每个数据源只在配置中描述一次,其余一切都据此衍生,采集管道就更容易运行。数据源配置包含域名、代理池层级、最大并发请求数、请求之间的最小间隔、重试策略和解析器版本。调度器向按域名划分的队列供给任务,工作进程在这些限制下从队列取任务,路由器则附上该配置指定的代理。当某个数据源开始封锁时,您只需修改一份配置而无需改代码,也能清楚看出是哪个代理池造成了成本。

分层随即变成查表。开放、宽容的数据源使用数据中心 IP,流量标注为不限,月费固定。提供 IPv6 且需要大量地址的数据源可以使用 IPv6 套餐,但有一个重要的注意事项:所有地址都来自同一个/64 子网,一些防御机制是对整个前缀而不是对每个地址施加限制,因此 2,500 个地址可能表现得像一个客户端。受保护的数据源使用按 GB 计费的轮换住宅 IP。需要登录的数据源使用静态 IP,使会话保持同一个地址。

数据源类型代理池计费依据价格范围(TRY/月)
宽容、批量数据中心 IPv4固定月费;流量标注为不限30 个 IP:250 · 1,000 个 IP:2,000
支持 IPv6、需要大量地址IPv6(一个/64)固定月费;标注支持 HTTP 和 HTTPS100 个 IP:100 · 15,000 个 IP:2,250
受保护、因国家而异轮换住宅按 GB 计费,30 天使用期5 GB:350 · 300 GB:9,000
需要登录ISP 静态按 IP 计费;按月,最长 12 个月3 个 IP:180 · 1,000 个 IP:30,000

预算计算:请求、字节与礼貌

从您所需的数据量出发倒推。示意性示例:每天 500,000 个页面,平均约每秒 5.8 个请求。假设每个响应耗时 1.2 秒,则需要同时有大约七个请求在进行,任何小型工作进程池都能处理。IP 的数量因此由礼貌程度而不是并发数决定。如果某个数据源能容忍每个地址每十秒一个请求,那么仅这一个数据源就需要约 58 个地址,所以每月 400 TRY 的 100 个 IP 数据中心套餐便能满足,并留有余量。

现在按字节给同一项任务定价。假设获取的 HTML 文档平均 40 KB:500,000 个页面就是每天 20 GB,或每月约 600 GB。在每 GB 30 至 70 TRY 的按 GB 计费住宅套餐上,这与固定月费的数据中心套餐是截然不同的账单,这也是住宅流量应当留给确实需要它的数据源的原因。在条款允许的前提下减少字节:用 Accept-Encoding 请求压缩响应,发送 If-None-Match 或 If-Modified-Since,使未变化的页面只返回一个很小的 304,并跳过您不解析的图片、字体和脚本。

礼貌同样保护着您自己。由 58 个地址组成的代理池,即使每个地址每十秒只发一个请求,仍然会向数据源每秒投递 5.8 个请求,这对小型网站来说是实实在在的负载。请限制每个域名的总速率,而不仅仅是每个 IP 的速率,并把大型任务分散到全天。遇到 429 和 5xx 响应时按指数退避,存在 Retry-After 时予以遵守,当某个数据源的错误率超过您设定的阈值时,则完全暂停该数据源。在按 GB 计费的套餐上,重试会成倍增加成本,所以重试上限既是预算控制,也是一种礼貌。

选择套餐之前,请先在您自己的目标上测量每页字节数;上面的数字是假设值,而非典型值。

管道内的合规与数据治理

合规由管道来强制执行,比靠人来记忆更容易做到。获取并缓存每个域名的 robots.txt,每天刷新,并让抓取器拒绝被禁止的路径。保留一份经过审核的各数据源条款记录,并标记是否存在官方 API 或批量导出;如果存在,就使用它,因为它更便宜、更快,也更明确。如果某个数据源提供了标识您的爬虫的方式,或提供了批量访问的联系地址,请使用该渠道,而不是绕过网站。

决定哪些内容不存储。公开并不意味着没有义务:姓名、电子邮件地址、照片和类似信息,可能属于 GDPR 或土耳其 KVKK 等法律下的个人数据,即使这些信息可见,收集它们也可能需要法律依据。优先选用只提取您所需字段、在解析阶段丢弃其余内容并设定保留期限的管道。这是一般性信息,不构成法律建议;对于涉及个人的商业数据集,请在开始收集之前获取专业建议。

最后,让每条记录都可追溯。随每一行存储来源 URL、UTC 获取时间、HTTP 状态、代理池层级、出口国家和解析器版本。溯源信息让您可以在某个数据源提出异议时删除来自它的全部数据,复现利益相关方质疑的数字,并发现某个地区特有的样本何时在扭曲数据集。它也为您的良好行为提供证据:如果网站所有者联系您,您可以出示请求速率并及时回应,并且应先停止任务,事后再讨论。

实施手册

实用的实施计划

从首次测试到稳定、可监控运行的四个步骤。

  1. 盘点并分类数据源

    列出每个数据源的 robots.txt 规则、条款、官方 API 或导出方式,以及它是否发布 AAAA 记录(用 DNS 查询工具检查)。放弃或重新设计任何您无权收集的内容。

  2. 分配层级和预算

    为每个数据源指定代理池、每个域名的请求上限和每日字节预算,并写入配置而不是代码。

  3. 以百分之一规模试点

    用计划量的百分之一运行数天。测量每页字节数、状态分布和重复率,然后依据实测数据重新计算套餐规模。

  4. 分步扩大并自动退避

    分阶段增加数据量,对 403 和 429 比例设置告警,并为每个数据源设置自动暂停,每周复核每千条记录的成本。

场景示例

实际应用是什么样

仅为示例:数字是用于说明思路的假设,并非实测结果。

宽容的目录站,每天 120,000 个页面

这约为每秒 1.4 个请求。按每个 IP 每五秒一个请求计算,七个地址就能承担,所以每月 250 TRY 的 30 个 IP 数据中心套餐已经绰绰有余。真正重要的限制是目录站承受的负载,因此团队限制总速率,并把抓取分散到全天(示意数据)。

三个国家,每周扫描

一个团队每周通过指定国家的住宅 IP,在三个国家各抽样 5,000 个列表页,只抓取 HTML,假设每页 150 KB。一次扫描为 3 × 5,000 × 150 KB,约 2.25 GB,四次扫描约用 9 GB,因此 650 TRY 的 10 GB 套餐刚好够用,但为重试留出的余量很小。

支持 IPv6 的数据源

某个数据源发布了 AAAA 记录,已用 DNS 查询工具确认。团队试用每月 300 TRY 的 500 个 IP 的 IPv6 套餐,但由于所有地址共用一个/64,它对整个代理池只应用一个令牌桶,并在确定之前,与 400 TRY 的 100 个 IP 数据中心套餐比较成功率。

需要衡量什么

从第一天起就跟踪这些指标,让问题以数据而非意外的形式出现。

  • 每个数据源按状态类别统计的成功率:2xx 响应相对于 403、429 和 5xx 所占的比例,按小时跟踪。
  • 每条成功记录的字节数,它可直接换算为按 GB 套餐的成本,并显示解析器或重试何时在浪费流量。
  • 按代理池层级统计的每 1,000 条记录成本(TRY),以便看出把某个数据源换到另一个代理池何时划算。
  • 数据新鲜度:每个数据源数据集中最旧记录的时长,与刷新目标相比较。
  • 重复率和解析失败率,因为悄然发生的页面结构变化和重复抓取都会在不增加数据的情况下推高成本。

常见错误

会浪费预算或导致被封锁的常见做法。

  • 根据并发数而不是数据源的容忍度来确定 IP 数量,这要么压垮数据源,要么浪费开支。
  • 把同一个 IPv6 /64 中的数千个地址当作彼此独立的身份,而按前缀限制的防御机制看到的只是一个客户端。
  • 在按 GB 计费的套餐上无限重试,一次封锁就可能演变成重试风暴,在数小时内耗尽当月配额。
  • 不存储溯源信息,导致数据源或监管机构询问时,您无法解释、更正或删除一条记录。
  • “因为是公开的”就收集个人数据,而根据数据保护法,这仍可能需要法律依据。

实用建议

  • 随每条记录保存来源 URL、时间、IP 类型和国家。
  • 遇到 429 和 403 响应时自动退避。
  • 优先使用官方 API 和批量导出。
  • 除非有法律依据,否则不要让个人数据进入您的管线。

请负责任地使用代理

合法且尊重地收集公开数据:遵守 robots.txt 和条款,遵循数据保护法律,避免使服务过载。

常见问题

常见疑问

如何在 IPv6 和 IPv4 之间选择?

来源支持 IPv6 且需要海量地址时选 IPv6;需要通用的访问范围时选 IPv4。

轮换代理会让数据采集变得合法吗?

不会。合法性取决于您采集什么、如何采集,而不取决于代理。

该如何预估带宽预算?

抽样真实页面,测量字节数,再乘以总量。屏蔽图片和脚本可以大幅降低用量。

我必须遵守 robots.txt 吗?

robots.txt 是一种惯例而非法律,但它表达了网站所有者的意愿,无视它可能违反使用条款,或在纠纷中削弱您的立场。我们建议遵守它,并在存在官方 API 或导出时使用它们。这是一般性指引,不构成法律建议。

如何知道某个数据源是否支持 IPv6?

用 DNS 查询工具查询其 AAAA 记录:没有 AAAA 记录就说明该网站仅支持 IPv4,纯 IPv6 出口通常无法访问它。有记录是必要条件而非充分条件,所以请通过该套餐做一次小规模测试。服务商标注 IPv6 支持 HTTP 和 HTTPS;SOCKS5 未经确认。

长时间爬取重启时,如何避免浪费 GB?

持久化保存您的队列以及已获取 URL 的记录,并附上它们的 ETag 或内容哈希,这样重启后可以接着继续而不是重复。让抓取具有幂等性,并在入队前对 URL 去重。在按 GB 计费的住宅套餐上,每个重复的页面都是真金白银,而这些套餐还有 30 天的使用期,所以请规划抓取以适应这一期限。

企业

需要大批量、定制地区或便于采购的方案?

欢迎与销售洽谈大量 IP、长期合同和专属对接服务。告诉我们目标国家和流量情况,我们将提出合适的方案。