सॉल्यूशन

कीमत और स्टॉक की निगरानी के लिए प्रॉक्सी

प्राइस मॉनिटरिंग का मतलब है उन्हीं पेजों से बार-बार वही सवाल पूछना। यह एक ही पते से करेंगे तो जल्दी नज़र में आ जाएगा; भार बाँटने से आपका डेटा बहता रहता है।

प्राइस मॉनिटरिंग
रेज़िडेंशियल प्रॉक्सीशुरुआत TRY 350 / माह

चुनौती

यह काम मुश्किल क्यों है

  • दोहराव वाले रिक्वेस्ट पैटर्न

    एक ही URL की नियमित जाँच सुरक्षा तंत्र के लिए पहचानना और ब्लॉक करना आसान होता है।

  • पर्सनलाइज़्ड कीमतें

    कीमतें देश, डिवाइस या ब्राउज़िंग हिस्ट्री पर निर्भर हो सकती हैं, इसलिए एक सेटअप के नतीजे सब पर लागू नहीं होते।

  • वॉल्यूम

    कई रिटेलर में फैले बड़े कैटलॉग मिलकर महीने में लाखों रिक्वेस्ट बन जाते हैं।

तरीका

सही प्रॉक्सी कैसे मदद करते हैं

  1. जहाँ हो सके वहाँ सस्ता वॉल्यूम इस्तेमाल करें

    डेटासेंटर IP नरम रुख वाली रिटेल साइटों को प्रति रिक्वेस्ट सबसे कम लागत पर संभालते हैं।

  2. सुरक्षित साइटों के लिए रेज़िडेंशियल

    जहाँ डेटासेंटर रेंज फ़िल्टर हो जाती हैं, वहाँ रोटेटिंग रेज़िडेंशियल IP पहुँच जाते हैं।

  3. देश के अनुसार टार्गेट करें

    जिस देश की कीमत दर्ज करनी है उसे चुनें, ताकि बाज़ारों की तुलना एकरूप रहे।

विस्तार से

नतीजा तय करने वाले ब्योरे

SKU को टियर में बाँटना और एक ऑब्ज़र्वेशन की कीमत तय करना

हर प्रोडक्ट को एक ही आवृत्ति पर जाँचना उन आइटम पर पैसा बर्बाद करता है जो शायद ही बदलते हैं और जो बदलते हैं उनका कम नमूना लेता है। कैटलॉग को टियर में बाँटें: हॉट आइटम (बेस्ट सेलर, सीधे प्रतिस्पर्धी, प्रमोशन में कुछ भी) हर घंटे, वार्म आइटम रोज़, कोल्ड आइटम साप्ताहिक। 10,000 SKU के सांकेतिक कैटलॉग के लिए, जिसमें 500 हॉट, 2,500 वार्म और 7,000 कोल्ड SKU हों, यह प्रतिदिन 15,500 फ़ेच है, यानी महीने में लगभग 465,000। सभी 10,000 को हर घंटे जाँचने पर महीने में 7.2 मिलियन फ़ेच होते, यानी पंद्रह गुना से भी ज़्यादा, जबकि अतिरिक्त जानकारी बहुत कम मिलती।

अब इन 465,000 फ़ेच की कीमत दो तरह से लगाएँ। 100 IP के IPv4 डेटासेंटर प्रॉक्सी पैक (400 TRY प्रति माह) पर लोड 100 पतों में लगभग 11 रिक्वेस्ट प्रति मिनट है, यानी प्रति पता करीब 0.1, लगभग 0.0009 TRY प्रति फ़ेच पर। रेज़िडेंशियल प्रॉक्सी पूल पर, सांकेतिक रूप से 100 KB प्रति पेज के हिसाब से, यही फ़ेच लगभग 46.5 GB होते हैं, जो 50 GB प्लान (2,500 TRY) में लगभग 0.0054 TRY प्रति फ़ेच पर आ जाते हैं। डेटासेंटर करीब छह गुना सस्ता है, इसलिए जहाँ भी कोई रिटेलर उसे स्वीकार करे वहाँ उसी का इस्तेमाल करें, और रेज़िडेंशियल पर पैसा केवल वहाँ खर्च करें जहाँ वह स्वीकार नहीं करता।

अचानक आने वाले उछालों के लिए अलग प्लान प्रकार चाहिए। किसी मौसमी सेल के दौरान आप 500 हॉट SKU को 24 घंटे तक हर 10 मिनट में जाँच सकते हैं: 72,000 फ़ेच, प्रत्येक 100 KB पर लगभग 7.2 GB, जिसे 10 GB रेज़िडेंशियल प्रॉक्सी प्लान (650 TRY) कवर करता है। दैनिक अनलिमिटेड रोटेटिंग रेज़िडेंशियल प्लान की कीमत 5,000 TRY है, जो 300 GB प्लान के 30 TRY प्रति GB पर लगभग 167 GB के बराबर है, इसलिए यह तभी फ़ायदेमंद है जब उछाल इससे बीस गुना से ज़्यादा बड़े हों। अनलिमिटेड प्लान की फ़ेयर-यूज़ शर्तों के बारे में सेल्स टीम से पूछें, जो यहाँ प्रकाशित नहीं हैं।

टियरSKU (उदाहरण)आवृत्तिप्रति माह फ़ेच
हॉट500हर घंटे360,000
वार्म2,500रोज़75,000
कोल्ड7,000साप्ताहिक30,000
कुल10,000मिश्रित465,000

एक ही कीमत दो बार पाना: नॉर्मलाइज़ेशन

कीमत की निगरानी उतनी ही अच्छी होती है जितनी उसकी तुलनीयता। ऑब्ज़र्वेशन की शर्तें तय करें: हर बाज़ार के लिए एक एग्ज़िट देश, एक भाषा, कुकी के बिना साफ़ सेशन, एक डिवाइस प्रोफ़ाइल और UTC में टाइमस्टैम्प। फिर तय करें कि आपका मतलब कौन-सी कीमत से है: लिस्ट प्राइस, मौजूदा सेल प्राइस, प्रति इकाई कीमत, या टैक्स और डिलीवरी समेत कीमत। रिटेलर इन्हें हर देश में अलग ढंग से दिखाते हैं, और इन्हें मिलाने से ऐसी कीमत कटौतियाँ दिखती हैं जो असल में हुई ही नहीं। वैरिएंट भी दर्ज करें, क्योंकि एक ही प्रोडक्ट URL के तहत साइज़, रंग और पैक की संख्या अक्सर अलग कीमतें रखते हैं।

विज़िबल लेआउट स्क्रैप करने के बजाय स्ट्रक्चर्ड स्रोतों को तरजीह दें। कई प्रोडक्ट पेज में schema.org का स्ट्रक्चर्ड डेटा एम्बेडेड होता है, जिसमें ऑफ़र की कीमत, करेंसी और उपलब्धता होती है, और कई साइटें कीमतें उस JSON एंडपॉइंट से लोड करती हैं जिसे पेज खुद कॉल करता है; दोनों पूरे रेंडर से हल्के हैं और डिज़ाइन बदलने पर कम नाज़ुक हैं। केवल वही एंडपॉइंट इस्तेमाल करें जिन्हें पेज सार्वजनिक रूप से कॉल करता है, और साइट की शर्तों के भीतर रहकर। अगर आपको हेडलेस ब्राउज़र से रेंडर करना ही पड़े, तो केवल HTML के मुकाबले कई गुना ज़्यादा बाइट की उम्मीद रखें, इसलिए अपने GB प्लान का आकार HTML के आकार से नहीं, नापे गए बाइट से दोबारा निकालें।

फ़ील्डयह क्यों खिसकता हैक्या स्टोर करें
करेंसी और टैक्सबाज़ार के अनुसार कीमतें टैक्स सहित या टैक्स रहित दिखाई जाती हैंराशि, ISO करेंसी कोड और टैक्स-सहित फ़्लैग
सेल बनाम लिस्ट प्राइसकटी हुई कीमतें अपने ही शेड्यूल पर बदलती हैंदोनों मान और छूट का लेबल
वैरिएंटसाइज़, रंग या पैक की संख्या कीमत बदल देती हैकीमत के साथ वैरिएंट ID, केवल पेज URL नहीं
उपलब्धतास्टॉक में, कम स्टॉक, बैकऑर्डर और स्टॉक खत्म, टेक्स्ट में एक जैसे दिखते हैंतय विकल्पों वाला (enumerated) स्टेटस, कीमत गायब होने के आधार पर कभी अनुमानित नहीं
डिलीवरी लागतकिसी सीमा के ऊपर मुफ़्त या क्षेत्र के अनुसार बदलतीडिलीवरी शुल्क और सीमा, जब दिखाई जाए

बदलाव को जाँचना, अलर्ट करना और उस पर कार्रवाई करना

एक-जैसी दिखने वाली तीन घटनाओं को अलग करें: असली कीमत बदलाव, पार्स फ़ेल्योर और ब्लॉक। गायब कीमत फ़ील्ड शून्य कीमत नहीं है और न स्टॉक-खत्म का लेबल; उसे अज्ञात के रूप में दर्ज करें और अपने पार्स-फ़ेल्योर मेट्रिक में गिनें। हर मान को डैशबोर्ड तक पहुँचने से पहले नियमों से जाँचें। ये सब संकेत हैं कि मान को समीक्षा के लिए रोक लेना चाहिए: बाज़ार की करेंसी से अलग करेंसी, शून्य तक गिरी हुई कीमत या एक ही कदम में, मान लें, 50 प्रतिशत से ज़्यादा बदली कीमत, और रिटेलर के सामान्य पेज से बहुत छोटा पेज।

अलर्ट से पहले पुष्टि करें। जब कोई मान आपकी तय की गई बदलाव-सीमा पार करे, तो उसे किसी दूसरे IP से दोबारा फ़ेच करें, और बड़े बदलावों के लिए कुछ मिनट बाद दूसरी लोकेशन से; अलर्ट तभी दें जब ऑब्ज़र्वेशन आपस में मेल खाएँ। यही एक नियम A/B टेस्ट, कैश्ड एज नोड और पल-भर की गलतियों से होने वाले कई झूठे अलर्ट हटा देता है। कच्चे स्नैपशॉट, HTML या JSON, अपनी चुनी हुई रिटेंशन अवधि तक रखें, ताकि जब कोई किसी अलर्ट पर विवाद करे तो आप दिखा सकें कि पेज ने क्या लौटाया था। केवल सार्वजनिक प्रोडक्ट डेटा स्टोर करें, कभी निजी जानकारी नहीं।

प्लेबुक

एक व्यावहारिक कार्यान्वयन योजना

पहले परीक्षण से लेकर स्थिर, निगरानी वाले संचालन तक चार चरण।

  1. SKU मैप और टियर बनाएँ

    अपने हर प्रोडक्ट को प्रतिस्पर्धी URL और वैरिएंट से मिलाएँ, और बिक्री पर असर तथा कीमत की अस्थिरता के आधार पर हॉट, वार्म या कोल्ड आवृत्ति तय करें।

  2. हर रिटेलर का पायलट सबसे सस्ते IP प्रकार पर चलाएँ

    डेटासेंटर IP से 500 पेज फ़ेच करें, मान्य-कीमत दर और ब्लॉक दर नापें, और रिटेलर को रेज़िडेंशियल पर तभी ले जाएँ जब वह आपकी सीमा से कम रहे।

  3. नॉर्मलाइज़ और वैलिडेट करें

    राशि, करेंसी, टैक्स फ़्लैग, वैरिएंट, उपलब्धता, एग्ज़िट देश और UTC समय स्टोर करें, और किसी भी मान के रिपोर्ट तक पहुँचने से पहले उसकी संभाव्यता जाँचने वाले नियम लागू करें।

  4. शेड्यूल करें, अलर्ट दें और समीक्षा करें

    जाँचें जिटर और प्रति-डोमेन सीमाओं के साथ फैलाएँ, बदलावों की पुष्टि दूसरे फ़ेच से करें, और हर हफ़्ते कवरेज तथा झूठे-अलर्ट की दर की समीक्षा करें।

हल किए गए परिदृश्य

व्यवहार में यह कैसा दिखता है

उदाहरण मात्र: संख्याएँ तर्क समझाने के लिए अनुमान हैं, मापे गए नतीजे नहीं।

छोटा रिटेलर, तीन प्रतिस्पर्धी

एक दुकान तीन प्रतिस्पर्धी साइटों पर 150 SKU दिन में दो बार ट्रैक करती है: प्रतिदिन 900 फ़ेच, महीने में 27,000। 30-IP IPv4 डेटासेंटर प्रॉक्सी पैक (250 TRY प्रति माह) इसे कुल मिलाकर लगभग 0.6 रिक्वेस्ट प्रति मिनट पर संभालता है, लगभग 0.009 TRY प्रति फ़ेच पर। पायलट तय करेगा कि तीनों में से किसी साइट को इसकी जगह रेज़िडेंशियल चाहिए या नहीं।

चार देशों में कीमत की तुलना

एक ब्रांड चार देशों में अपना ही प्रोडक्ट पेज दर्ज करता है, रोज़ 60 प्रोडक्ट: प्रतिदिन 240 फ़ेच और सांकेतिक रूप से 150 KB प्रत्येक के हिसाब से लगभग 36 MB, यानी महीने में लगभग 1.1 GB। 5 GB रेज़िडेंशियल प्रॉक्सी प्लान (350 TRY) इसे गुंजाइश के साथ कवर करता है, और हर रिकॉर्ड करेंसी तथा टैक्स फ़्लैग स्टोर करता है, ताकि तुलनाएँ मान्य रहें।

JavaScript-भारी स्टोरफ़्रंट

एक टीम पहले हेडलेस ब्राउज़र में रोज़ 3,000 प्रोडक्ट पेज रेंडर करती है, सांकेतिक रूप से 1.5 MB प्रत्येक पर, जो प्रतिदिन 4.5 GB और महीने में 135 GB है, इसलिए 200 GB प्लान (7,000 TRY) चाहिए। वह JSON एंडपॉइंट मिलने के बाद, जिसे पेज खुद सार्वजनिक रूप से कॉल करता है, लगभग 8 KB प्रति रिस्पॉन्स पर वही जॉब महीने में लगभग 0.7 GB का रह जाता है और 5 GB प्लान (350 TRY) में आ जाता है।

क्या मापें

इन्हें पहले दिन से ट्रैक करें, ताकि समस्याएँ चौंकाने के बजाय आँकड़ों के रूप में दिखें।

  • कवरेज, यानी उन SKU का हिस्सा जिनका अपने टियर की विंडो (घंटेवार, दैनिक या साप्ताहिक) के भीतर मान्य ऑब्ज़र्वेशन है।
  • हर रिटेलर के लिए पार्स-सफलता दर और ब्लॉक दर, अलग-अलग ट्रैक की गई, ताकि लेआउट बदलाव को ब्लॉक न समझ लिया जाए।
  • प्रति 1,000 मान्य ऑब्ज़र्वेशन लागत, जिसमें प्लान की कीमत, रिट्राई और बेकार गए बाइट शामिल हों।
  • झूठे-अलर्ट की दर, यानी कीमत-बदलाव अलर्ट का वह हिस्सा जिसे पुष्टि करने वाले री-फ़ेच ने दोहराया नहीं।
  • ऑब्ज़र्वेशन लैग, यानी रिटेलर के असली बदलाव से आपके दर्ज किए गए बदलाव तक का समय, जिसे सैंपल की गई घटनाओं से आँका जाता है।

आम गलतियाँ

ऐसे तरीके जो बजट बर्बाद करते हैं या ब्लॉक का कारण बनते हैं।

  • गायब कीमत को शून्य या स्टॉक-खत्म मान लेना, जिससे ऐसी कीमत कटौतियाँ और झूठे उपलब्धता अलर्ट बनते हैं जो असल में हुए ही नहीं।
  • करेंसी, टैक्स व्यवहार या वैरिएंट के आर-पार राशियों की तुलना, पहले उन्हें नॉर्मलाइज़ किए बिना।
  • हर SKU को एक ही आवृत्ति पर जाँचना, जिससे स्थिर आइटम पर ज़्यादा खर्च होता है और अस्थिर आइटम का कम नमूना लिया जाता है।
  • हर जॉब को घंटे की शुरुआत पर शेड्यूल करना, जो नियमित और आसानी से पहचाना जाने वाला पैटर्न है और लोड भी एक साथ जमा करता है; जिटर जोड़ें।
  • कच्चे स्नैपशॉट छोड़ देना, जिससे किसी विवादित अलर्ट को समझाने या पार्सर बग को पीछे जाकर ठीक करने के लिए कोई सबूत नहीं बचता।

व्यावहारिक सुझाव

  • जाँच के समय रैंडम रखें और प्रति मिनट रिक्वेस्ट मध्यम रखें।
  • सिर्फ़ ज़रूरी डेटा फ़ेच करें, पूरे पेज के एसेट नहीं।
  • हर प्राइस पॉइंट के साथ IP का देश स्टोर करें।
  • कीमत में अचानक गिरावट पर कार्रवाई से पहले उसे किसी दूसरी लोकेशन से दोबारा जाँचें।

प्रॉक्सी का ज़िम्मेदारी से उपयोग करें

सार्वजनिक रूप से दिखाई गई जानकारी की निगरानी करें, साइट की शर्तों और रेट लिमिट का पालन करें, और छोटी दुकानों को ओवरलोड न करें। स्क्रैप किए गए डेटा का इस्तेमाल ऐसे तरीकों से न करें जो प्रतिस्पर्धा या डेटा-सुरक्षा नियमों का उल्लंघन करें।

प्राइस ट्रैकिंग के लिए डेटासेंटर या रेज़िडेंशियल?

लागत के लिए पहले डेटासेंटर आज़माएँ; जो रिटेलर डेटासेंटर रेंज ब्लॉक करते हैं, उनके लिए रेज़िडेंशियल पर जाएँ।

पर्सनलाइज़्ड कीमतों को नतीजे बिगाड़ने से कैसे रोकूँ?

कुकीज़ के बिना साफ़ सेशन, एकसमान लोकेशन और यूज़र एजेंट इस्तेमाल करें, और बराबरी की चीज़ों की तुलना करें।

क्या मैं कई देशों में कीमतें मॉनिटर कर सकता हूँ?

हाँ, रेज़िडेंशियल पूल की देश टार्गेटिंग के साथ।

क्या हर रिटेलर के लिए रेज़िडेंशियल प्रॉक्सी चाहिए?

नहीं। हर रिटेलर का पायलट पहले डेटासेंटर IP पर चलाएँ और मान्य कीमत वाले रिस्पॉन्स का हिस्सा नापें। कई दुकानें डेटासेंटर रेंज से कम मात्रा की जाँच स्वीकार करती हैं जबकि दूसरी उन्हें फ़िल्टर करती हैं, और रेज़िडेंशियल केवल बाद वाली को चाहिए। इससे प्रति ऑब्ज़र्वेशन लागत कम रहती है।

JavaScript से लोड होने वाली कीमतें कैसे संभालूँ?

पहले पेज में एम्बेडेड स्ट्रक्चर्ड डेटा देखें, या वह JSON एंडपॉइंट जिसे पेज खुद सार्वजनिक रूप से कॉल करता है, क्योंकि दोनों रेंडरिंग से कहीं हल्के हैं। अगर हेडलेस ब्राउज़र इस्तेमाल करना ही पड़े, तो इमेज, फ़ॉन्ट और मीडिया ब्लॉक करें और GB प्लान का आकार चुनने से पहले प्रति पेज बाइट नाप लें। हमेशा साइट की शर्तों के भीतर रहें।

मैं A/B टेस्ट या पर्सनलाइज़्ड कीमत और असली बदलाव में फ़र्क कैसे करूँ?

साफ़ सेशन से फ़ेच दोहराएँ, और अहम बदलावों के लिए कुछ मिनट के अंतर पर दूसरे IP और लोकेशन से। असली बदलाव हर ऑब्ज़र्वेशन में दिखता है, जबकि टेस्ट या पर्सनलाइज़्ड कीमत केवल कुछ में दिखती है। हर मान के साथ एग्ज़िट देश और समय स्टोर करें ताकि पैटर्न दिखे।

एंटरप्राइज़

बड़ी मात्रा, कस्टम लोकेशन या खरीद-प्रक्रिया के अनुकूल सेटअप चाहिए?

बड़ी संख्या में IP, लंबे अनुबंध और समर्पित ऑनबोर्डिंग के बारे में सेल्स टीम से बात करें। हमें लक्षित देश और ट्रैफ़िक प्रोफ़ाइल बताएँ, हम उपयुक्त प्रस्ताव देंगे।