解决方案

用于价格与库存监控的代理

价格监控就是一次又一次地向相同的页面提出相同的问题。从同一个地址发出,很快就会被发现;把负载分散开来,才能让数据持续流入。

价格监控
住宅代理起价 TRY 350 / 月

挑战

这项任务难在哪里

  • 重复的请求模式

    定期检查相同的 URL,很容易被防御系统识别并封锁。

  • 个性化定价

    价格可能取决于国家、设备或浏览历史,所以一种配置下得到的结果不一定具有普遍性。

  • 数据量

    跨多家零售商的大型商品目录,每月累计会产生数百万次请求。

思路

合适的代理如何提供帮助

  1. 尽可能使用低成本的大流量

    数据中心 IP 以最低的单次请求成本处理容忍度较高的零售网站。

  2. 受保护的网站用住宅

    在数据中心网段被过滤的地方,轮换住宅 IP 可以顺利通过。

  3. 按国家定位

    选择您想记录价格的国家,以便一致地对比各个市场。

深入了解

决定成败的细节

对 SKU 分层并为单次观察定价

以相同的频率检查每一件商品,既会在很少变化的商品上浪费金钱,又会对波动的商品采样不足。请把商品目录分层:热档商品(畅销品、直接竞品、任何处于促销中的商品)每小时一次,温档商品每天一次,冷档商品每周一次。以一个示意的 10,000 个 SKU 目录为例,其中 500 个热档、2,500 个温档、7,000 个冷档,每天共 15,500 次抓取,每月约 465,000 次。若把全部 10,000 个每小时检查一次,则每月 7,200,000 次,是前者的十五倍多,却几乎没有带来额外的信息。

现在用两种方式为这 465,000 次抓取定价。在 100 个 IP、每月 400 TRY 的 IPv4 数据中心代理套餐上,100 个地址合计约每分钟 11 次请求,平均每个地址约 0.1 次,每次抓取约 0.0009 TRY。在住宅代理池上,按示意值每页 100 KB,同样的抓取约 46.5 GB,可放进 50 GB 套餐(2,500 TRY),每次抓取约 0.0054 TRY。数据中心大约便宜六倍,因此凡是零售商接受的地方都用数据中心,只在它不接受的地方才为住宅 IP 付费。

峰值需要不同的套餐类型。在季节性促销期间,您可能会在 24 小时内每 10 分钟检查一次那 500 个热档 SKU:72,000 次抓取,按每次 100 KB 约 7.2 GB,10 GB 住宅代理套餐(650 TRY)即可覆盖。每日不限流量轮换住宅套餐的价格为 5,000 TRY,按 300 GB 套餐每 GB 30 TRY 折算约相当于 167 GB,因此只有当突发规模比上述突发大二十倍以上时才划算。关于不限流量套餐的合理使用条款,本站并未公布,请向销售咨询。

层级SKU 数量(示例)频率每月抓取次数
热档500每小时360,000
温档2,500每日75,000
冷档7,000每周30,000
合计10,000混合465,000

两次得到同一价格:标准化

价格监控的价值取决于其可比性。请固定观察条件:每个市场一个出口国家、一种语言、不带 Cookie 的干净会话、一种设备配置,以及 UTC 时间戳。然后决定您所指的是哪种价格:标价、当前促销价、单价,还是含税及配送费的价格。各国的零售商对这些价格的呈现方式不同,混用它们会产生虚假的降价。还要记录变体,因为尺码、颜色和包装数量往往在同一个商品 URL 下对应不同的价格。

优先使用结构化来源,而不是抓取可见的页面布局。许多商品页内嵌了 schema.org 结构化数据,包含报价、货币和库存状态;许多网站还会从页面自身调用的 JSON 端点加载价格;两者都比完整渲染更轻,也不容易在设计改版时失效。请仅使用页面公开调用的端点,并遵守网站条款。如果必须使用无头浏览器渲染,预计字节数会是单纯 HTML 的数倍,因此请依据实测的字节数而不是 HTML 大小,重新计算您的 GB 套餐规格。

字段为什么会漂移应存储什么
货币与税费各市场显示的价格含税或不含税各不相同金额、ISO 货币代码和含税标记
促销价与标价划线价按各自的时间表变化两个数值,加上折扣标签
变体尺码、颜色或包装数量会改变价格随价格一起存储变体 ID,而不只是页面 URL
库存状态有货、库存紧张、可预订和缺货在文字上看起来很相似枚举状态,绝不能由缺失的价格推断
配送费用超过门槛免费,或因地区而异页面显示时,存储配送费和门槛

校验、告警与处理变化

把三种看起来相似的事件区分开:真实的价格变动、解析失败和被封锁。缺失的价格字段既不是零价格,也不是缺货标签;请记录为未知,并计入您的解析失败指标。每个数值在进入仪表盘之前,都要根据规则校验。与该市场不符的货币、降到零的价格、一步之内变动超过(比如)50% 的价格,以及比该零售商通常页面小得多的页面,都是需要暂扣该数值、等待复核的信号。

告警之前先确认。当某个数值越过您设定的变化阈值时,从另一个 IP 重新抓取,对于大幅变动,几分钟后再从第二个地点抓取一次;只有观察结果一致时才告警。仅这一条规则,就能消除许多由 A/B 测试、边缘节点缓存和瞬时错误引起的误报。在您选定的保留期内保存原始快照(HTML 或 JSON),这样当有人对告警提出异议时,您就能出示页面当时返回的内容。仅存储公开的商品数据,绝不存储个人信息。

实施手册

实用的实施计划

从首次测试到稳定、可监控运行的四个步骤。

  1. 建立 SKU 映射与分层

    把您的每个产品与竞品的 URL 和变体对应起来,并根据销售影响和价格波动性分配热档、温档或冷档频率。

  2. 用最便宜的 IP 类型试运行每家零售商

    从数据中心 IP 抓取 500 个页面,测量有效价格率和封锁率,只有零售商达不到您的阈值时,才把它迁移到住宅 IP。

  3. 标准化与校验

    存储金额、货币、税费标记、变体、库存状态、出口国家和 UTC 时间,并在任何数值进入报告之前应用合理性规则。

  4. 排程、告警与复盘

    用抖动和按域名的限制分散检查,通过第二次抓取确认变化,并每周复盘覆盖率和误报率。

场景示例

实际应用是什么样

仅为示例:数字是用于说明思路的假设,并非实测结果。

小型零售商,三个竞争对手

一家店铺在三个竞品网站上追踪 150 个 SKU,每天两次:每天 900 次抓取,每月 27,000 次。30 个 IP 的 IPv4 数据中心代理套餐(每月 250 TRY)合计约每分钟 0.6 次请求,每次抓取约 0.009 TRY。试运行将决定这三个网站中是否有需要改用住宅 IP 的。

四国价格对比

一个品牌记录自己的产品页在四个国家的情况,每天 60 个产品:240 次抓取,按示意值每次 150 KB,每天约 36 MB,每月约 1.1 GB。一个 5 GB 的住宅代理套餐(350 TRY)绰绰有余,并且每条记录都存储货币和税费标记,使对比保持有效。

大量依赖 JavaScript 的店铺

团队起初每天用无头浏览器渲染 3,000 个商品页,按示意值每页 1.5 MB,即每天 4.5 GB、每月 135 GB,因此需要 200 GB 套餐(7,000 TRY)。找到页面自身公开调用的 JSON 端点后,按每个响应约 8 KB 计算,同样的任务每月约 0.7 GB,5 GB 套餐(350 TRY)就够用。

需要衡量什么

从第一天起就跟踪这些指标,让问题以数据而非意外的形式出现。

  • 覆盖率,即在各自层级窗口(每小时、每天或每周)内拥有有效观察的 SKU 占比。
  • 按零售商分别统计的解析成功率和封锁率,分开追踪,以免把版式变更误认为封锁。
  • 每 1,000 次有效观察的成本,综合套餐价格、重试和浪费的字节。
  • 误报率,即确认性重新抓取未能复现的价格变动告警所占的比例。
  • 观察延迟,即从零售商实际变动到您记录到该变动之间的时间,通过抽样事件估算。

常见错误

会浪费预算或导致被封锁的常见做法。

  • 把缺失的价格当作零或缺货,造成虚假降价和错误的库存告警。
  • 不先标准化,就在不同货币、税费处理方式或变体之间直接比较金额。
  • 以相同频率检查每个 SKU,在稳定商品上多花钱,而对波动商品采样不足。
  • 把所有任务都排在整点,这是一种规律且容易被识别的模式,还会叠加负载;请加入抖动。
  • 不保留原始快照,导致没有证据来解释有争议的告警,也无法事后修复解析器的缺陷。

实用建议

  • 随机化检查时间,并把每分钟请求数保持在适中水平。
  • 只获取您需要的数据,而不是整页资源。
  • 随每个价格数据点一并保存 IP 所在国家。
  • 对异常的降价,先从第二个地点再次核实,再采取行动。

请负责任地使用代理

只监控公开展示的信息,遵守网站条款和速率限制,不要让小商店过载。不要以违反竞争法或数据保护规定的方式使用采集到的数据。

常见问题

常见疑问

价格追踪该用数据中心代理还是住宅代理?

出于成本考虑先试数据中心代理;遇到封锁数据中心网段的零售商时再换成住宅代理。

如何避免个性化价格影响结果?

使用不带 Cookie 的干净会话,保持一致的地区和 User-Agent,并进行同类对比。

我可以监控多个国家的价格吗?

可以,使用住宅 IP 池的国家定位功能。

每家零售商都需要住宅代理吗?

不需要。先在数据中心 IP 上对每家零售商做试运行,测量有效价格响应的占比。许多店铺接受来自数据中心 IP 段的低频检查,而另一些会过滤它们,只有后者才需要住宅 IP。这样可以让每次观察的成本保持较低。

如何处理通过 JavaScript 加载的价格?

先查找页面中内嵌的结构化数据,或页面自身公开调用的 JSON 端点,因为两者都比渲染轻得多。如果必须使用无头浏览器,请屏蔽图片、字体和媒体,并在确定 GB 套餐规格之前测量每页字节数。始终遵守网站的条款。

如何区分 A/B 测试或个性化价格与真实变动?

从干净的会话重复抓取,对于重要变动,再间隔几分钟从第二个 IP 和地点抓取。真实变动会出现在每一次观察中,而测试或个性化价格往往只出现在部分观察中。请为每个数值存储出口国家和时间,使规律清晰可见。

企业

需要大批量、定制地区或便于采购的方案?

欢迎与销售洽谈大量 IP、长期合同和专属对接服务。告诉我们目标国家和流量情况,我们将提出合适的方案。