Решения

Прокси для мониторинга цен и наличия

Мониторинг цен — это постоянные одни и те же вопросы к одним и тем же страницам. С одного адреса это быстро замечают; распределение нагрузки сохраняет поток данных.

Мониторинг цен
Резидентные проксиОт 350 TRY / месяц

Проблема

Что усложняет эту задачу

  • Повторяющиеся шаблоны запросов

    Регулярные проверки одних и тех же URL легко заметить и заблокировать.

  • Персонализированные цены

    Цены могут зависеть от страны, устройства или истории просмотров, поэтому результаты одной конфигурации не всегда можно обобщить.

  • Объём

    Большие каталоги у многих продавцов складываются в миллионы запросов в месяц.

Подход

Чем помогают подходящие прокси

  1. Используйте дешёвый объём, где возможно

    Серверные IP обслуживают лояльные розничные сайты при минимальной стоимости запроса.

  2. Используйте резидентные для защищённых сайтов

    Ротационные резидентные IP проходят там, где диапазоны дата-центров фильтруются.

  3. Выбирайте страну

    Выберите страну, цену которой хотите фиксировать, чтобы последовательно сравнивать рынки.

Подробно

Детали, которые определяют результат

Уровни SKU и стоимость одного наблюдения

Проверять все товары с одинаковой частотой — значит тратить деньги на позиции, которые редко меняются, и недодавать замеров тем, что меняются. Разбейте каталог на уровни: горячие позиции (бестселлеры, прямые конкуренты, всё, что участвует в акции) — ежечасно, тёплые — ежедневно, холодные — еженедельно. Для условного каталога из 10,000 SKU с 500 горячими, 2,500 тёплыми и 7,000 холодными SKU это 15,500 загрузок в сутки, около 465,000 в месяц. Проверка всех 10,000 ежечасно дала бы 7.2 миллиона в месяц — более чем в пятнадцать раз больше, при этом почти без дополнительной информации.

Теперь оцените эти 465,000 загрузок двумя способами. На пакете из 100 серверных IPv4-прокси (400 TRY в месяц) нагрузка составляет около 11 запросов в минуту на 100 адресов, примерно по 0.1 на адрес, при стоимости около 0.0009 TRY за загрузку. На пуле резидентных прокси при условных 100 КБ на страницу те же загрузки составляют около 46.5 ГБ, что укладывается в тариф на 50 ГБ (2,500 TRY), при стоимости около 0.0054 TRY за загрузку. Серверные прокси примерно в шесть раз дешевле, поэтому используйте их везде, где ритейлер их принимает, а за резидентные платите только там, где нет.

Для всплесков нужен другой тип тарифа. Во время сезонной распродажи вы можете проверять 500 горячих SKU каждые 10 минут в течение 24 часов: 72,000 загрузок, около 7.2 ГБ при 100 КБ каждая, что покрывает тариф резидентных прокси на 10 ГБ (650 TRY). Суточный безлимитный ротационный резидентный тариф стоит 5,000 TRY, что соответствует примерно 167 ГБ по цене тарифа на 300 ГБ — 30 TRY за ГБ, поэтому он окупается только для всплесков, более чем в двадцать раз превышающих этот. Условия добросовестного использования безлимитных тарифов уточните в отделе продаж: здесь они не опубликованы.

УровеньSKU (пример)ПериодичностьЗагрузок в месяц
Горячие500Ежечасно360,000
Тёплые2,500Ежедневно75,000
Холодные7,000Еженедельно30,000
Итого10,000Смешанная465,000

Одна и та же цена дважды: нормализация

Монитор цен хорош настолько, насколько сопоставимы его данные. Зафиксируйте условия наблюдения: одна страна выхода на рынок, один язык, чистая сессия без cookie, один профиль устройства и отметка времени в UTC. Затем решите, какую цену вы имеете в виду: прайс-цену, текущую цену распродажи, цену за единицу или цену с учётом налога и доставки. Ритейлеры показывают их по-разному в разных странах, и их смешение порождает фантомные снижения цен. Фиксируйте и вариант товара, потому что размер, цвет и количество в упаковке часто имеют разные цены под одним URL товара.

Предпочитайте структурированные источники парсингу видимой вёрстки. Многие страницы товаров встраивают структурированные данные schema.org с ценой предложения, валютой и наличием, а многие сайты подгружают цены с JSON-эндпоинта, который вызывает сама страница; оба варианта легче полного рендера и менее хрупки при смене дизайна. Используйте только эндпоинты, которые страница вызывает публично, в рамках условий сайта. Если рендерить в headless-браузере всё же приходится, готовьтесь к объёму в несколько раз больше, чем у одного HTML, поэтому пересчитывайте размер ГБ-тарифа по измеренным байтам, а не по размеру HTML.

ПолеПочему «плывёт»Что хранить
Валюта и налогЦены показываются с налогом или без него в зависимости от рынкаСумма, код валюты ISO и признак «цена с налогом»
Цена распродажи и прайс-ценаЗачёркнутые цены меняются по собственному расписаниюОба значения и метка скидки
ВариантРазмер, цвет или количество в упаковке меняют ценуID варианта вместе с ценой, а не только URL страницы
НаличиеВ наличии, мало, под заказ и нет в наличии в тексте выглядят похожеПеречислимый статус, никогда не выводимый из отсутствия цены
Стоимость доставкиБесплатно свыше порога или зависит от регионаПлата за доставку и порог, если они показаны

Проверка, оповещения и действия при изменении

Разделяйте три похожих события: реальное изменение цены, сбой парсинга и блокировку. Отсутствующее поле цены — не нулевая цена и не метка «нет в наличии»; записывайте его как неизвестное и учитывайте в метрике сбоев парсинга. Проверяйте каждое значение по правилам, прежде чем оно попадёт на дашборд. Валюта, отличающаяся от валюты рынка, цена, упавшая до нуля или изменившаяся за один шаг более чем, скажем, на 50 процентов, и страница, намного меньше обычной для ритейлера, — всё это сигналы задержать значение для проверки.

Подтверждайте, прежде чем оповещать. Когда значение пересекает заданный вами порог изменения, загрузите его заново с другого IP, а при крупных скачках — из второй локации через несколько минут; оповещайте, только если наблюдения совпадают. Одно это правило устраняет множество ложных оповещений, вызванных A/B-тестами, кэшированными edge-узлами и кратковременными ошибками. Храните сырые снимки, HTML или JSON, в течение выбранного вами срока хранения, чтобы при споре об оповещении вы могли показать, что вернула страница. Храните только публичные данные о товарах, никогда — персональную информацию.

План действий

Практический план внедрения

Четыре шага от первого теста до стабильной работы под контролем.

  1. Постройте карту SKU и уровни

    Сопоставьте каждый свой товар с URL и вариантами у конкурентов и назначьте горячую, тёплую или холодную периодичность по влиянию на продажи и волатильности цены.

  2. Проведите пилот по каждому ритейлеру на самом дешёвом типе IP

    Загрузите 500 страниц с серверных IP, измерьте долю валидных цен и долю блокировок и переводите ритейлера на резидентные, только если он не дотягивает до вашего порога.

  3. Нормализуйте и проверяйте

    Сохраняйте сумму, валюту, признак налога, вариант, наличие, страну выхода и время в UTC и применяйте правила правдоподобия, прежде чем любое значение попадёт в отчёт.

  4. Планируйте, оповещайте и пересматривайте

    Разносите проверки по времени со случайным разбросом и лимитами по домену, подтверждайте изменения второй загрузкой и каждую неделю анализируйте покрытие и долю ложных оповещений.

Разобранные сценарии

Как это выглядит на практике

Иллюстративные примеры: цифры — допущения для демонстрации логики, а не измеренные результаты.

Небольшой ритейлер, три конкурента

Магазин отслеживает 150 SKU на трёх сайтах конкурентов дважды в день: 900 загрузок в сутки, 27,000 в месяц. Пакет из 30 серверных IPv4-прокси (250 TRY в месяц) обеспечивает это при суммарно около 0.6 запроса в минуту, примерно 0.009 TRY за загрузку. Пилот решает, нужны ли вместо них резидентные на каком-либо из трёх сайтов.

Сравнение цен в четырёх странах

Бренд фиксирует страницу собственного товара в четырёх странах, 60 товаров ежедневно: 240 загрузок и около 36 МБ в сутки при условных 150 КБ каждая, то есть примерно 1.1 ГБ в месяц. Тариф резидентных прокси на 5 ГБ (350 TRY) покрывает это с запасом, а каждая запись хранит валюту и признак налога, чтобы сравнения оставались корректными.

Витрина с тяжёлым JavaScript

Команда сначала рендерит 3,000 страниц товаров в день в headless-браузере при условных 1.5 МБ каждая — это 4.5 ГБ в сутки и 135 ГБ в месяц, то есть тариф на 200 ГБ (7,000 TRY). Найдя JSON-эндпоинт, который сама страница публично вызывает, при примерно 8 КБ на ответ та же задача занимает около 0.7 ГБ в месяц и укладывается в тариф на 5 ГБ (350 TRY).

Что измерять

Отслеживайте это с первого дня, чтобы проблемы проявлялись цифрами, а не сюрпризами.

  • Покрытие — доля SKU с валидным наблюдением в окне своего уровня (ежечасно, ежедневно или еженедельно).
  • Доля успешного парсинга и доля блокировок по каждому ритейлеру, отслеживаемые раздельно, чтобы смену вёрстки не приняли за блокировку.
  • Стоимость 1,000 валидных наблюдений с учётом цены тарифа, повторов и впустую потраченных байт.
  • Доля ложных оповещений — доля оповещений об изменении цены, которые подтверждающая повторная загрузка не воспроизвела.
  • Задержка наблюдения — время от реального изменения у ритейлера до записи изменения у вас, оценённое по выборке событий.

Частые ошибки

Шаблоны, которые тратят бюджет впустую или приводят к блокировкам.

  • Считать отсутствующую цену нулём или отсутствием товара, что порождает фантомные снижения цен и ложные оповещения о наличии.
  • Сравнивать суммы в разных валютах, с разным учётом налогов или по разным вариантам без предварительной нормализации.
  • Проверять все SKU с одинаковой частотой, переплачивая за стабильные позиции и недобирая замеров по волатильным.
  • Планировать все задачи на начало часа — это регулярный, легко узнаваемый шаблон, к тому же он суммирует нагрузку; добавляйте случайный разброс.
  • Отказываться от сырых снимков, из-за чего нет доказательств для разбора спорного оповещения и нельзя задним числом исправить ошибку парсера.

Практические советы

  • Рандомизируйте время проверок и держите частоту запросов умеренной.
  • Загружайте только нужные данные, а не все ресурсы страницы.
  • Сохраняйте страну IP вместе с каждой точкой цены.
  • Перед действиями перепроверяйте неожиданные падения цен из второй локации.

Используйте прокси ответственно

Отслеживайте публично отображаемую информацию, соблюдайте условия сайтов и лимиты запросов и не перегружайте небольшие магазины. Не используйте собранные данные способами, нарушающими правила конкуренции или защиты данных.

Серверные или резидентные для отслеживания цен?

Сначала попробуйте серверные ради стоимости; для розничных сайтов, блокирующих диапазоны дата-центров, перейдите на резидентные.

Как не дать персонализированным ценам исказить результаты?

Используйте чистые сессии без cookie, постоянную локацию и user agent и сравнивайте сопоставимое.

Можно ли отслеживать цены в нескольких странах?

Да, с помощью таргетинга по странам в резидентном пуле.

Нужны ли резидентные прокси для каждого ритейлера?

Нет. Сначала проведите пилот по каждому ритейлеру на серверных IP и измерьте долю валидных ответов с ценой. Многие магазины принимают нечастые проверки из диапазонов дата-центров, тогда как другие их фильтруют, и резидентные нужны только последним. Так стоимость одного наблюдения остаётся низкой.

Как работать с ценами, которые подгружаются через JavaScript?

Сначала поищите структурированные данные, встроенные в страницу, или JSON-эндпоинт, который сама страница публично вызывает, потому что оба варианта намного легче рендеринга. Если без headless-браузера не обойтись, блокируйте изображения, шрифты и медиа и измерьте байты на страницу, прежде чем выбирать размер ГБ-тарифа. Всегда оставайтесь в рамках условий сайта.

Как отличить A/B-тест или персонализированную цену от реального изменения?

Повторите загрузку из чистой сессии, а при важных изменениях — со второго IP и из другой локации с интервалом в несколько минут. Реальное изменение видно во всех наблюдениях, тогда как тест или персонализированная цена обычно появляются лишь в некоторых. Сохраняйте страну выхода и время вместе с каждым значением, чтобы закономерность была видна.

Для бизнеса

Нужны большие объёмы, особые локации или удобная для закупок схема?

Обсудите с отделом продаж большое количество IP, долгосрочные договоры и персональное подключение. Сообщите целевые страны и профиль трафика, и мы предложим подходящий вариант.