小型零售商,三个竞争对手
一家店铺在三个竞品网站上追踪 150 个 SKU,每天两次:每天 900 次抓取,每月 27,000 次。30 个 IP 的 IPv4 数据中心代理套餐(每月 250 TRY)合计约每分钟 0.6 次请求,每次抓取约 0.009 TRY。试运行将决定这三个网站中是否有需要改用住宅 IP 的。
解决方案
价格监控就是一次又一次地向相同的页面提出相同的问题。从同一个地址发出,很快就会被发现;把负载分散开来,才能让数据持续流入。
挑战
定期检查相同的 URL,很容易被防御系统识别并封锁。
价格可能取决于国家、设备或浏览历史,所以一种配置下得到的结果不一定具有普遍性。
跨多家零售商的大型商品目录,每月累计会产生数百万次请求。
思路
数据中心 IP 以最低的单次请求成本处理容忍度较高的零售网站。
在数据中心网段被过滤的地方,轮换住宅 IP 可以顺利通过。
选择您想记录价格的国家,以便一致地对比各个市场。
推荐
按适合此类工作负载的程度排序。打开产品可查看规格、限制和实时套餐。
深入了解
以相同的频率检查每一件商品,既会在很少变化的商品上浪费金钱,又会对波动的商品采样不足。请把商品目录分层:热档商品(畅销品、直接竞品、任何处于促销中的商品)每小时一次,温档商品每天一次,冷档商品每周一次。以一个示意的 10,000 个 SKU 目录为例,其中 500 个热档、2,500 个温档、7,000 个冷档,每天共 15,500 次抓取,每月约 465,000 次。若把全部 10,000 个每小时检查一次,则每月 7,200,000 次,是前者的十五倍多,却几乎没有带来额外的信息。
现在用两种方式为这 465,000 次抓取定价。在 100 个 IP、每月 400 TRY 的 IPv4 数据中心代理套餐上,100 个地址合计约每分钟 11 次请求,平均每个地址约 0.1 次,每次抓取约 0.0009 TRY。在住宅代理池上,按示意值每页 100 KB,同样的抓取约 46.5 GB,可放进 50 GB 套餐(2,500 TRY),每次抓取约 0.0054 TRY。数据中心大约便宜六倍,因此凡是零售商接受的地方都用数据中心,只在它不接受的地方才为住宅 IP 付费。
峰值需要不同的套餐类型。在季节性促销期间,您可能会在 24 小时内每 10 分钟检查一次那 500 个热档 SKU:72,000 次抓取,按每次 100 KB 约 7.2 GB,10 GB 住宅代理套餐(650 TRY)即可覆盖。每日不限流量轮换住宅套餐的价格为 5,000 TRY,按 300 GB 套餐每 GB 30 TRY 折算约相当于 167 GB,因此只有当突发规模比上述突发大二十倍以上时才划算。关于不限流量套餐的合理使用条款,本站并未公布,请向销售咨询。
| 层级 | SKU 数量(示例) | 频率 | 每月抓取次数 |
|---|---|---|---|
| 热档 | 500 | 每小时 | 360,000 |
| 温档 | 2,500 | 每日 | 75,000 |
| 冷档 | 7,000 | 每周 | 30,000 |
| 合计 | 10,000 | 混合 | 465,000 |
价格监控的价值取决于其可比性。请固定观察条件:每个市场一个出口国家、一种语言、不带 Cookie 的干净会话、一种设备配置,以及 UTC 时间戳。然后决定您所指的是哪种价格:标价、当前促销价、单价,还是含税及配送费的价格。各国的零售商对这些价格的呈现方式不同,混用它们会产生虚假的降价。还要记录变体,因为尺码、颜色和包装数量往往在同一个商品 URL 下对应不同的价格。
优先使用结构化来源,而不是抓取可见的页面布局。许多商品页内嵌了 schema.org 结构化数据,包含报价、货币和库存状态;许多网站还会从页面自身调用的 JSON 端点加载价格;两者都比完整渲染更轻,也不容易在设计改版时失效。请仅使用页面公开调用的端点,并遵守网站条款。如果必须使用无头浏览器渲染,预计字节数会是单纯 HTML 的数倍,因此请依据实测的字节数而不是 HTML 大小,重新计算您的 GB 套餐规格。
| 字段 | 为什么会漂移 | 应存储什么 |
|---|---|---|
| 货币与税费 | 各市场显示的价格含税或不含税各不相同 | 金额、ISO 货币代码和含税标记 |
| 促销价与标价 | 划线价按各自的时间表变化 | 两个数值,加上折扣标签 |
| 变体 | 尺码、颜色或包装数量会改变价格 | 随价格一起存储变体 ID,而不只是页面 URL |
| 库存状态 | 有货、库存紧张、可预订和缺货在文字上看起来很相似 | 枚举状态,绝不能由缺失的价格推断 |
| 配送费用 | 超过门槛免费,或因地区而异 | 页面显示时,存储配送费和门槛 |
把三种看起来相似的事件区分开:真实的价格变动、解析失败和被封锁。缺失的价格字段既不是零价格,也不是缺货标签;请记录为未知,并计入您的解析失败指标。每个数值在进入仪表盘之前,都要根据规则校验。与该市场不符的货币、降到零的价格、一步之内变动超过(比如)50% 的价格,以及比该零售商通常页面小得多的页面,都是需要暂扣该数值、等待复核的信号。
告警之前先确认。当某个数值越过您设定的变化阈值时,从另一个 IP 重新抓取,对于大幅变动,几分钟后再从第二个地点抓取一次;只有观察结果一致时才告警。仅这一条规则,就能消除许多由 A/B 测试、边缘节点缓存和瞬时错误引起的误报。在您选定的保留期内保存原始快照(HTML 或 JSON),这样当有人对告警提出异议时,您就能出示页面当时返回的内容。仅存储公开的商品数据,绝不存储个人信息。
实施手册
从首次测试到稳定、可监控运行的四个步骤。
把您的每个产品与竞品的 URL 和变体对应起来,并根据销售影响和价格波动性分配热档、温档或冷档频率。
从数据中心 IP 抓取 500 个页面,测量有效价格率和封锁率,只有零售商达不到您的阈值时,才把它迁移到住宅 IP。
存储金额、货币、税费标记、变体、库存状态、出口国家和 UTC 时间,并在任何数值进入报告之前应用合理性规则。
用抖动和按域名的限制分散检查,通过第二次抓取确认变化,并每周复盘覆盖率和误报率。
场景示例
仅为示例:数字是用于说明思路的假设,并非实测结果。
一家店铺在三个竞品网站上追踪 150 个 SKU,每天两次:每天 900 次抓取,每月 27,000 次。30 个 IP 的 IPv4 数据中心代理套餐(每月 250 TRY)合计约每分钟 0.6 次请求,每次抓取约 0.009 TRY。试运行将决定这三个网站中是否有需要改用住宅 IP 的。
一个品牌记录自己的产品页在四个国家的情况,每天 60 个产品:240 次抓取,按示意值每次 150 KB,每天约 36 MB,每月约 1.1 GB。一个 5 GB 的住宅代理套餐(350 TRY)绰绰有余,并且每条记录都存储货币和税费标记,使对比保持有效。
团队起初每天用无头浏览器渲染 3,000 个商品页,按示意值每页 1.5 MB,即每天 4.5 GB、每月 135 GB,因此需要 200 GB 套餐(7,000 TRY)。找到页面自身公开调用的 JSON 端点后,按每个响应约 8 KB 计算,同样的任务每月约 0.7 GB,5 GB 套餐(350 TRY)就够用。
从第一天起就跟踪这些指标,让问题以数据而非意外的形式出现。
会浪费预算或导致被封锁的常见做法。
只监控公开展示的信息,遵守网站条款和速率限制,不要让小商店过载。不要以违反竞争法或数据保护规定的方式使用采集到的数据。
常见问题
出于成本考虑先试数据中心代理;遇到封锁数据中心网段的零售商时再换成住宅代理。
使用不带 Cookie 的干净会话,保持一致的地区和 User-Agent,并进行同类对比。
可以,使用住宅 IP 池的国家定位功能。
不需要。先在数据中心 IP 上对每家零售商做试运行,测量有效价格响应的占比。许多店铺接受来自数据中心 IP 段的低频检查,而另一些会过滤它们,只有后者才需要住宅 IP。这样可以让每次观察的成本保持较低。
先查找页面中内嵌的结构化数据,或页面自身公开调用的 JSON 端点,因为两者都比渲染轻得多。如果必须使用无头浏览器,请屏蔽图片、字体和媒体,并在确定 GB 套餐规格之前测量每页字节数。始终遵守网站的条款。
从干净的会话重复抓取,对于重要变动,再间隔几分钟从第二个 IP 和地点抓取。真实变动会出现在每一次观察中,而测试或个性化价格往往只出现在部分观察中。请为每个数值存储出口国家和时间,使规律清晰可见。