使用代理进行网页抓取:负责任的指南

代理解决的是单IP限制,而不是糟糕的爬虫设计。本文说明如何负责任地把两者结合起来。

阅读约 14 分钟

任何规模的抓取都会遇到同样的问题:网站会限制单个地址能发出的请求数,并且对某些类型的地址更加怀疑。代理能解决这两个问题——但它只是优秀爬虫的一部分。

从礼仪开始

  • 先查看是否有官方API或数据导出。
  • 阅读robots.txt和网站条款。
  • 在需要时如实标明您的爬虫身份,并保持适度的请求速率。
  • 没有法律依据时避免收集个人数据。

选择合适的IP类型

对宽容的网站,数据中心IP最便宜。对过滤托管地址段的网站,轮换住宅IP有帮助。静态ISP IP适合需要认证的流程。详情请参阅住宅与数据中心代理的对比指南。

为失败而设计

预期会遇到429(请求过多)、403和超时。使用指数退避进行重试,在反复被封时切换到另一个IP,并按IP记录状态码,以便看出规律。

Python
import random, time, requests

PROXIES = ["http://USER:PASS@HOST1:PORT", "http://USER:PASS@HOST2:PORT"]

def fetch(url, tries=4):
    for i in range(tries):
        proxy = random.choice(PROXIES)
        try:
            r = requests.get(url, proxies={"http": proxy, "https": proxy}, timeout=15)
            if r.status_code == 200:
                return r.text
            if r.status_code in (403, 429):
                time.sleep(2 ** i + random.random())
        except requests.RequestException:
            time.sleep(1 + random.random())
    return None

控制带宽

在按GB计量的套餐上,屏蔽图片、字体和媒体,并尽可能抓取JSON端点。测量一个样本以预测您每月的用量。

写爬虫之前,先阅读规则

先看 robots.txt,但要清楚它是什么。Robots 排除协议(Robots Exclusion Protocol,RFC 9309)是从每个源站根目录提供的一个文件,它按 user-agent 分组,告诉爬虫不应请求哪些路径,并以最具体的匹配规则为准。如果该文件返回 4xx 状态码,爬虫可以认为网站没有任何限制;如果返回 5xx 或无法访问,标准规定在其恢复正常之前,应假定一切都不可访问。Crawl-delay 不属于该标准,也并非每个爬虫都遵守,但如果网站发布了它,请将其视为放慢速度的请求。

robots.txt 是面向爬虫的约定,而不是许可。无论该文件怎么写,服务条款都可能限制自动化访问,而对数据的处理还可能受其他规则约束:内容的版权、某些司法辖区的数据库权利,以及数据能识别个人时适用的数据保护法律,如欧盟的 GDPR 或土耳其的 KVKK。以上是一般性信息,不构成法律意见;如果项目具有商业性质,请让有资质的人员审核。切勿绕过身份验证、付费墙或访问控制,并把验证码(CAPTCHA)或访问被拒页面视为应当放慢或停止的信号,而不是工具要去攻克的障碍。

代理工具HTTP 头信息检测请求一个公网 URL,查看它的响应头、重定向链,以及常见的安全头是否存在。了解更多

先建速率限制器,再做轮换

更大的地址池并不意味着您有权施加更大的负载。服务器仍然要承担每一个请求,而且限制可能按账号、按会话 Cookie、按网段或按指纹生效,而不只是按 IP。请按目标主机而不是按代理设定预算:并发在途请求数的上限(作为示例,两到五个是合理的起点)、请求之间带随机抖动的最小延迟,以及一条自适应规则——在遇到 429 或 503 时把速率减半,并在连续成功之后分小步重新提高,很像 TCP 中的拥塞控制。

礼貌是有时间成本的,您应当为此做好规划,而且再多的 IP 也无法消除这一成本。以每秒 2 个请求抓取 100,000 个页面需要 50,000 秒,约 13.9 小时;以每秒 5 个请求则需要 20,000 秒,约 5.6 小时。如果这太慢,答案是缩小范围、增量更新或与网站达成协议,而不是增加更多地址。

有帮助而非有害的重试

带抖动的退避可以防止许多工作进程同步重试。“完全抖动”(full jitter)会休眠一段随机时间,范围在零到 min(cap, base × 2^attempt)之间,使重试分散到整个窗口中。如果 429 或 503 响应带有 Retry-After 头(其值为秒数或 HTTP 日期),至少等待那么长时间。使用独立的连接超时和读取超时,对每个 URL 同时限制尝试次数和总耗时,并在编写循环之前决定好每种状态的含义:

  • 带退避重试:超时、连接重置、429、502、503 和 504。这些通常是暂时性的,或是要求放慢速度。
  • 在新连接或新会话上重试一次:看起来只针对某个出口节点的失败,例如反复出现的代理侧连接错误。
  • 不要重试:404 和 410 表示页面已不存在,因此请记录下来。401 和 403 是访问决定,而不是临时故障,从众多地址重复这些请求,是导致整段 IP 被封锁的快捷方式。
  • 把 407 视为您自己的配置问题:这是代理在索要凭据,而不是网站拒绝了您。

下面的函数把这些部分组合在一起:遵循上述状态规则的 robots.txt 检查、完全抖动退避、Retry-After 处理,以及状态策略。它是一个需要您改造的模板,而不是成品爬虫。

Python
import random
import time
import urllib.robotparser

import requests

UA = "ExampleBot/1.0 (+https://example.com/bot-info)"
PROXY = "http://USER:PASS@HOST:PORT"
PROXIES = {"http": PROXY, "https": PROXY}
HEADERS = {"User-Agent": UA}

robots = urllib.robotparser.RobotFileParser()
resp = requests.get("https://example.org/robots.txt", headers=HEADERS, proxies=PROXIES, timeout=15)
if resp.status_code == 200:
    robots.parse(resp.text.splitlines())
elif resp.status_code >= 500:
    robots.disallow_all = True
else:
    robots.allow_all = True

def backoff(attempt, base=1.0, cap=60.0):
    return random.uniform(0, min(cap, base * 2 ** attempt))

def polite_get(url, tries=5):
    if not robots.can_fetch(UA, url):
        return None
    for attempt in range(tries):
        try:
            r = requests.get(url, headers=HEADERS, proxies=PROXIES, timeout=(5, 20))
        except requests.RequestException:
            time.sleep(backoff(attempt))
            continue
        if r.status_code == 200:
            return r.text
        if r.status_code in (429, 503):
            wait = r.headers.get("Retry-After", "")
            time.sleep(min(float(wait), 300) if wait.isdigit() else backoff(attempt))
        elif r.status_code in (500, 502, 504):
            time.sleep(backoff(attempt))
        else:
            return None
    return None

把每个代理都当作带健康评分的组件

在长时间运行中,个别出口会变坏:节点被限速、网关重启、凭据过期。按代理或按会话保存计数器(成功数、429、403、超时、字节数),并把代理故障与目标站点故障区分开。连接被拒绝、代理超时、407 以及网关生成的 502 指向代理;来自网站的 403 和 429 指向目标站点以及您自己的行为。代理检测工具的错误码(auth、refused、timeout、not_http_proxy、tls 等)采用相同的划分,因此您可以独立于爬虫来验证可疑的代理。

加入断路器。连续失败达到设定次数后(例如五次,仅为示意),把该代理移出轮换,冷却一段时间(如十分钟),再用单个请求探测,然后才恢复。在第一次出错时就永久丢弃代理,会浪费已付费的容量;而对一个出故障的代理反复冲击,则会在计量套餐上白白消耗带宽。

让抓取可恢复且更省

  • 持久化一个队列,记录每个 URL 的状态、尝试次数和最近一次错误,这样崩溃或部署之后可以接着运行,而不必重新抓取。
  • 在 URL 进入队列之前先做规范化和去重(跟踪参数、查询字符串顺序、末尾斜杠)。
  • 使用条件请求:保存 ETag 或 Last-Modified 值,下次发送 If-None-Match 或 If-Modified-Since。304 响应没有正文,既能节省按 GB 计量套餐的流量,也能减轻网站负载。
  • 接受压缩;大多数 HTTP 客户端会透明地处理 gzip,它通常能显著缩小 HTML 和 JSON。
  • 在解析之前先保存原始响应,这样解析器出现错误时只需重新处理文件,而不必再次消耗请求。
  • 校验内容,而不只是状态:包含拦截页面或登录表单的 200 是一次失败,因此在把页面计为成功之前,要求其包含预期元素。

保持每个会话内部一致

使用粘性会话时,请让每个会话拥有自己的 Cookie 存储(cookie jar),并在其生命周期内保持请求头稳定:相同的 User-Agent、相同的 Accept-Language,等等。发给某个地址的 Cookie 却从另一个地址提交,或者同一地址上连续请求之间请求头集合发生变化,都会成为网站向您发起质询的理由。本站的 User-Agent 检测工具会显示浏览器暴露的内容,包括客户端提示、语言和时区,这有助于您了解自己客户端的请求头透露了什么。一致性意味着避免您自己客户端中的意外矛盾;这并不意味着在网站规则禁止的情况下去模仿他人的软件。

生产环境中要监控什么

  • 按目标以及按代理或会话统计的成功率,并应用内容校验。
  • 延迟百分位数(中位数和第 95 百分位),因为平均值会掩盖导致工作进程停滞的慢尾部。
  • 每条成功记录的字节数以及每 1,000 条记录的成本,它把代理计费转化为可以在不同 IP 类型之间比较的单位成本。
  • 429 和 403 响应占比随时间的变化;上升趋势意味着在封锁到来之前,您的速率或访问模式就需要关注了。
  • 数据新鲜度:每个页面上次成功抓取的时间,与其需要刷新的频率相比如何。

常见问题

为什么换了全新的 IP 仍然收到 403 响应?

地址只是信号之一。网站还会考虑请求头、您的 HTTP 客户端的特征、Cookie、请求速率和模式,以及内容是否需要账号。在众多不同 IP 上重复出现的 403,通常意味着原因不在地址,所以继续轮换也无济于事。请放慢速度,重新阅读网站条款,并检查是否有官方 API。

多大的请求速率是安全的?

没有放之四海而皆准的数字。从低速开始,例如作为示例每个主机每秒一个请求,观察 429 响应的占比和延迟趋势,并分小步提高速率。如果网站公布了速率限制、API 配额,或 robots.txt 中的 Crawl-delay,它们就决定了您的上限。

我可以抓取需要登录才能看到的数据吗?

只有在获得明确许可,或数据是您有权访问的数据,并且符合网站条款的前提下才可以。许多条款禁止对账号进行自动化访问,而登录后的页面往往包含数据保护法律所涵盖的个人数据。优先使用官方 API 或导出功能;如果您必须对自己的账号做自动化,请使用静态 IP,这样账号就不会同时被从许多地方看到。

不确定哪个套餐适合?

请描述您的使用场景和目标国家,我们会为您推荐产品 — 如果其他类型更适合您,我们也会如实相告。