सॉल्यूशन

भरोसेमंद वेब स्क्रैपिंग के लिए प्रॉक्सी

स्क्रैपर अनुमान लगाए जा सकने वाले कारणों से फ़ेल होते हैं: एक पते से बहुत ज़्यादा रिक्वेस्ट, ऐसे पते जो ऑटोमेटेड दिखते हैं, और बीच में टूट जाने वाले सेशन। सही प्रॉक्सी प्रकार पहले दो कारण दूर करता है; अच्छा स्क्रैपर डिज़ाइन तीसरा।

वेब स्क्रैपिंग
रेज़िडेंशियल प्रॉक्सीशुरुआत TRY 350 / माह

चुनौती

यह काम मुश्किल क्यों है

  • प्रति-IP रेट लिमिट

    साइटें तय करती हैं कि एक पता कितनी रिक्वेस्ट भेज सकता है। सारा ट्रैफ़िक एक IP पर केंद्रित करेंगे तो कुछ ही मिनटों में थ्रॉटल या ब्लॉक हो जाएँगे।

  • IP रेपुटेशन स्कोरिंग

    सुरक्षा वाली साइटें पतों को डेटासेंटर, रेज़िडेंशियल या मोबाइल में बाँटती हैं और पहली रिक्वेस्ट से ही उनके साथ अलग बर्ताव करती हैं।

  • लोकेशन पर निर्भर कंटेंट

    कीमतें, उपलब्धता और नतीजे विज़िटर के देश के हिसाब से बदलते हैं, इसलिए एक ही लोकेशन वाला स्क्रैपर वेब का सिर्फ़ एक संस्करण देख पाता है।

तरीका

सही प्रॉक्सी कैसे मदद करते हैं

  1. IP प्रकार को लक्ष्य से मिलाएँ

    नरम रुख वाली साइटों और API के लिए डेटासेंटर IP, सुरक्षित कंज़्यूमर साइटों के लिए रोटेटिंग रेज़िडेंशियल IP, और जहाँ स्थिर पहचान मायने रखे वहाँ ISP IP इस्तेमाल करें।

  2. सोच-समझकर रोटेट करें या टिकें

    स्टेटलेस फ़ेचिंग के लिए हर रिक्वेस्ट पर रोटेट करें; जब लॉग-इन, कार्ट या पेजिनेटेड फ़्लो को एक ही पता रखना हो, तब स्टिकी सेशन इस्तेमाल करें।

  3. सही देश टार्गेट करें

    रेज़िडेंशियल प्लान देश-स्तर की टार्गेटिंग सूचीबद्ध करते हैं, ताकि आप पेज का वही संस्करण जुटाएँ जो आपके दर्शक देखते हैं।

विस्तार से

नतीजा तय करने वाले ब्योरे

स्क्रैपर का आकार तय करना: IP बजट और बैंडविड्थ बजट

हर स्क्रैपिंग जॉब की दो स्वतंत्र सीमाएँ होती हैं। IP बजट यह है कि टार्गेट साइट के थ्रॉटल करने से पहले एक पता प्रति मिनट कितनी रिक्वेस्ट भेज सकता है; इस संख्या को आपको खुद नापना होगा, पर उदाहरण की साइट के लिए इसे 4 मान लें। बैंडविड्थ बजट यह है कि आप कुल कितने बाइट ट्रांसफ़र करते हैं, जो केवल मीटर्ड प्लान पर मायने रखता है। एक सांकेतिक वर्कलोड लें: प्रतिदिन 24,000 पेज, यानी लगभग 17 रिक्वेस्ट प्रति मिनट। प्रति IP 4 रिक्वेस्ट प्रति मिनट के हिसाब से इसके लिए लगभग पाँच पते चाहिए, इसलिए सबसे छोटा IPv4 डेटासेंटर प्रॉक्सी पैक भी, यानी 250 TRY प्रति माह में 30 IP, हर पते को लगभग 0.6 रिक्वेस्ट प्रति मिनट पर चलाता है।

रेज़िडेंशियल बिलिंग में गणित उलट जाता है, क्योंकि आप पतों के नहीं, गीगाबाइट के पैसे देते हैं। यही 24,000 पेज, सांकेतिक रूप से 150 KB प्रति पेज के हिसाब से, 3.6 GB प्रतिदिन होते हैं, यानी 30 दिन की अवधि में 108 GB। यह 100 GB प्लान (3,500 TRY) से 8 प्रतिशत ज़्यादा है और आपको 200 GB प्लान (7,000 TRY) की ओर धकेल देगा, इसलिए इमेज, फ़ॉन्ट और ट्रैकर हटाना दिखने से कहीं ज़्यादा फ़ायदेमंद है। 100 GB में फ़िट करने पर लागत लगभग 0.005 TRY प्रति पेज बैठती है, जबकि 30-IP डेटासेंटर पैक पर यह करीब 0.0003 TRY है।

बहुत बड़े और लगातार चलने वाले जॉब में तर्क फिर पलट जाता है। अनलिमिटेड रोटेटिंग रेज़िडेंशियल प्लान तय कीमत के बदले असीमित ट्रैफ़िक देते हैं: मासिक प्लान 75,000 TRY का है, जो 300 GB प्लान की दर 30 TRY प्रति GB पर 2,500 GB के बराबर है, यानी लगभग 83 GB प्रतिदिन। इससे कम वॉल्यूम पर GB प्लान सस्ते पड़ते हैं; इससे ऊपर, कागज़ पर अनलिमिटेड जीतता है। अनलिमिटेड उपयोग की शर्तें, जैसे फ़ेयर-यूज़ सीमाएँ या कॉन्करेंसी कैप, इस साइट पर प्रकाशित नहीं हैं, इसलिए इस धारणा पर पाइपलाइन बनाने से पहले WhatsApp पर सेल्स टीम से पूछ लें।

स्थितिनिर्णायक सीमासबसे पहले किस प्लान परिवार की कीमत देखें
सहनशील साइट, बहुत ज़्यादा पेज संख्याप्रति IP प्रति मिनट रिक्वेस्टIPv4 डेटासेंटर प्रॉक्सी पैक (30 से 1,000 IP)
सुरक्षित कंज़्यूमर साइट, मध्यम वॉल्यूमगीगाबाइट और ब्लॉक दररेज़िडेंशियल प्रॉक्सी प्लान (5 से 300 GB)
सुरक्षित साइट, लगातार बहुत ज़्यादा वॉल्यूमबड़े स्तर पर प्रति GB लागतअनलिमिटेड रोटेटिंग रेज़िडेंशियल (दैनिक, साप्ताहिक, मासिक)
मोबाइल-नेटवर्क कंटेंट या कैरियर-भरोसेमंद एंडपॉइंटपते का भरोसा और कोटारोटेटिंग मोबाइल पैक (5, 10, 100 GB) या अनलिमिटेड मासिक
स्थिर पहचान के पीछे आपका अपना लॉगिनसेशन की निरंतरताISP प्रॉक्सी (स्टैटिक तुर्की IP)

सेशन, रिट्राई और बैकऑफ़ का डिज़ाइन

रोटेशन का फ़ैसला आदत से नहीं, स्टेट की इकाई से करें। स्टेटलेस फ़ेच, जैसे प्रोडक्ट पेज या सर्च रिज़ल्ट, हर बार अलग IP से निकल सकता है। जिस फ़्लो में स्टेट हो, जैसे लॉगिन, सेशन से जुड़ा पेजिनेशन टोकन या कार्ट, उसे एक ही पते पर रहना चाहिए; इसलिए रेज़िडेंशियल प्रॉक्सी प्लान पर स्टिकी सेशन माँगें या स्टैटिक ISP प्रॉक्सी IP इस्तेमाल करें। हर एग्ज़िट IP के लिए एक कुकी जार रखें, क्योंकि एक पते की कुकी किसी दूसरे पते से दोहराना सेशन अमान्य होने का आम कारण है। डेटासेंटर पैक में रोटेशन आप खुद करते हैं, जैसे प्रति-IP कूलडाउन के साथ राउंड-रॉबिन।

विफलताओं को श्रेणी के हिसाब से संभालें। कनेक्शन एरर, टाइमआउट और 407 रिस्पॉन्स (प्रॉक्सी ऑथेंटिकेशन ज़रूरी) प्रॉक्सी के रास्ते या आपके क्रेडेंशियल की ओर इशारा करते हैं, ब्लॉक की ओर नहीं। 403, 429 या चैलेंज वाला 200 पेज टार्गेट की ओर इशारा करता है। 429 पर, अगर Retry-After हेडर मौजूद हो तो उसका पालन करें; वरना जिटर के साथ एक्सपोनेंशियल बैकऑफ़ करें, जैसे लगभग 2, 4, 8 और 16 सेकंड, और उसी IP पर बार-बार दस्तक देने के बजाय किसी दूसरे IP से रिट्राई करें। प्रति URL रिट्राई तीन या चार तक सीमित रखें, ताकि लगातार चलता ब्लॉक आपका GB प्लान खत्म न कर दे।

प्रॉक्सी केवल नेटवर्क रास्ता बदलती है। आपके HTTP क्लाइंट का TLS हैंडशेक, हेडर क्रम और प्रोटोकॉल वर्ज़न CONNECT टनल से होकर टार्गेट तक ज्यों के त्यों पहुँचते हैं, इसलिए जो क्लाइंट स्क्रिप्ट जैसा दिखता है, वह रेज़िडेंशियल IP पर भी स्क्रिप्ट जैसा ही दिखता है। हेडर आपस में मेल खाते रखें, यानी असली ब्राउज़र का User-Agent और उससे मिलता Accept-Language; हर रिक्वेस्ट पर नया हैंडशेक टालने के लिए keep-alive से कनेक्शन दोबारा इस्तेमाल करें; और हेडलेस ब्राउज़र केवल वहीं लगाएँ जहाँ पेज को सच में JavaScript चाहिए, क्योंकि पूरा रेंडर आमतौर पर कच्चे HTML से कई गुना ज़्यादा बाइट खर्च करता है।

HTTP 200 स्टेटस कोड सफलता का सबूत नहीं है। रिस्पॉन्स को तभी गिनें जब उसमें आपके अपेक्षित फ़ील्ड मौजूद हों।

प्रॉक्सी फ़्लीट की निगरानी और यह साबित करना कि वह काम करती है

पहले प्रोडक्शन रन से पहले हर एंडपॉइंट जाँच लें। मुफ़्त प्रॉक्सी चेकर एक रिक्वेस्ट में 10 प्रॉक्सी तक लेता है, HTTP या SOCKS5 अपने-आप पहचानता है और एग्ज़िट IP, लेटेंसी तथा एरर कोड बताता है, इसलिए आप पूरा बैच एक ही बार में छाँट सकते हैं। कोड कारणों को साफ़ अलग करते हैं: auth का मतलब गलत क्रेडेंशियल है, refused या timeout का मतलब एंडपॉइंट या पोर्ट तक पहुँचा नहीं जा सकता, और connect_denied या tls खुद टनल की ओर इशारा करते हैं। फिर प्रॉक्सी इस्तेमाल करने वाले ब्राउज़र में IP एड्रेस चेकर खोलकर पुष्टि करें कि टार्गेट को कौन-सा पता दिखेगा, और रोटेटिंग एंडपॉइंट पर इसे दोहराकर देखें कि पता बदलता है।

प्रोडक्शन में हर रिक्वेस्ट के लिए एक पंक्ति लॉग करें: टार्गेट डोमेन, IP प्रकार, एग्ज़िट IP या उसका हैश, स्टेटस कोड, बाइट, लेटेंसी, रिट्राई की संख्या और कंटेंट-मान्य फ़्लैग। इस तालिका से आप हर डोमेन और हर IP प्रकार की ब्लॉक दर निकाल सकते हैं और खराब पते अपनी सूची से हटा सकते हैं, जैसे वे जिनके कम से कम 100 रिक्वेस्ट में 80 प्रतिशत से कम रिस्पॉन्स मान्य हों; यह सीमा आपको अपने टार्गेट के हिसाब से ट्यून करनी चाहिए। अलर्ट अकेली विफलताओं पर नहीं, ट्रेंड पर रखें: एक घंटे में दोगुनी हो जाने वाली ब्लॉक दर का मतलब आमतौर पर टार्गेट पर नियम बदलना होता है, नेटवर्क की खराबी नहीं।

रोटेशन लोड बाँटता है; इजाज़त नहीं देता। अगर कोई साइट आपसे रुकने को कहे या आधिकारिक फ़ीड दे, तो उसी का इस्तेमाल करें।

प्लेबुक

एक व्यावहारिक कार्यान्वयन योजना

पहले परीक्षण से लेकर स्थिर, निगरानी वाले संचालन तक चार चरण।

  1. पहले अधिकृत स्रोत खोजें

    कुछ भी बनाने से पहले आधिकारिक API, फ़ीड या बल्क एक्सपोर्ट देखें, और robots.txt तथा शर्तें पढ़ें। आपको असल में जो फ़ील्ड चाहिए, वही अक्सर पूरे डिज़ाइन को तय कर देते हैं।

  2. हर IP प्रकार पर पायलट चलाएँ

    सबसे सस्ते उम्मीदवार प्रकार पर 500 से 1,000 प्रतिनिधि URL फ़ेच करें और मान्य-कंटेंट दर, प्रति पेज बाइट और लेटेंसी दर्ज करें। अगले प्रकार पर तभी जाएँ जब नतीजे आपकी सीमा से कम रहें।

  3. हर डोमेन के लिए सीमाएँ तय करें

    अधिकतम कॉन्करेंसी, प्रति मिनट रिक्वेस्ट और प्रति IP कूलडाउन तय करें, जिटर वाली देरी के साथ और 429 व 5xx रिस्पॉन्स पर एक्सपोनेंशियल बैकऑफ़ के साथ।

  4. चरणों में बढ़ाएँ और हर हफ़्ते समीक्षा करें

    वॉल्यूम तब तक ही दोगुना करें जब तक ब्लॉक दर आपकी सीमा से नीचे रहे, और हर हफ़्ते प्रति हज़ार मान्य पेज लागत की तुलना करें, ताकि प्लान बदलना डेटा-आधारित फ़ैसला बने।

हल किए गए परिदृश्य

व्यवहार में यह कैसा दिखता है

उदाहरण मात्र: संख्याएँ तर्क समझाने के लिए अनुमान हैं, मापे गए नतीजे नहीं।

सार्वजनिक डायरेक्टरी क्रॉल

एक रिसर्च टीम एक हफ़्ते में 300,000 सार्वजनिक डायरेक्टरी पेज क्रॉल करती है, यानी लगभग 1,800 प्रति घंटा। वह काम को IPv4 डेटासेंटर प्रॉक्सी पैक के 100 IP (400 TRY प्रति माह) में बाँटती है, यानी प्रति IP लगभग 18 रिक्वेस्ट प्रति घंटा, कूलडाउन के साथ राउंड-रॉबिन रोटेशन पर। यह दर सांकेतिक है: साइट की असली सहनशीलता पायलट में नापनी होगी।

सुरक्षित रिटेल श्रेणी पेज

डेटासेंटर रेंज को ठुकराने वाले रिटेलर पर पायलट में डेटासेंटर IP से 40 प्रतिशत रिक्वेस्ट पर और रेज़िडेंशियल IP से 95 प्रतिशत रिक्वेस्ट पर मान्य पेज मिलते हैं (सांकेतिक आँकड़े)। लगभग 200 KB प्रति पेज पर 50 GB रेज़िडेंशियल प्रॉक्सी प्लान (2,500 TRY) करीब 250,000 पेज कवर करता है, यानी 0.01 TRY प्रति पेज। टीम रेज़िडेंशियल केवल इसी रिटेलर के लिए इस्तेमाल करती है और बाकी के लिए डेटासेंटर IP रखती है।

पार्टनर पोर्टल से ऑथेंटिकेटेड एक्सपोर्ट

एक फ़ाइनेंस टीम एक पार्टनर पोर्टल से रोज़ रिपोर्ट डाउनलोड करती है, जहाँ उसके पास क्रेडेंशियल हैं और जिसकी शर्तें ऑटोमेटेड एक्सपोर्ट की अनुमति देती हैं। चूँकि पोर्टल सेशन को एक पते से बाँधता है, इसलिए जॉब को 3-IP ISP प्रॉक्सी प्लान (180 TRY प्रति माह) के एक स्टैटिक IP पर और एक ही कुकी जार के साथ पिन किया गया है। कोई भी दूसरा पता हर रन पर दोबारा लॉगिन माँगे जाने का जोखिम पैदा करेगा।

क्या मापें

इन्हें पहले दिन से ट्रैक करें, ताकि समस्याएँ चौंकाने के बजाय आँकड़ों के रूप में दिखें।

  • हर डोमेन और IP प्रकार के हिसाब से मान्य-कंटेंट दर, जिसे HTTP 200 से नहीं, अपेक्षित फ़ील्ड की मौजूदगी से गिना जाए।
  • ब्लॉक दर, यानी 403, 429 या चैलेंज पेज पर खत्म होने वाली रिक्वेस्ट का हिस्सा, जिसे हर IP प्रकार और हर घंटे के हिसाब से ट्रैक करें।
  • प्रति 1,000 मान्य पेज लागत, जिसमें प्लान की कीमत, रिट्राई और बेकार गए बाइट शामिल हों।
  • प्रति पेज औसत और 95वें परसेंटाइल बाइट, जो GB प्लान का आकार तय करने में काम आते हैं।
  • रिट्राई अनुपात और 95वें परसेंटाइल लेटेंसी, क्योंकि इनका बढ़ना हार्ड ब्लॉक दिखने से पहले ही थ्रॉटलिंग का संकेत देता है।

आम गलतियाँ

ऐसे तरीके जो बजट बर्बाद करते हैं या ब्लॉक का कारण बनते हैं।

  • HTTP 200 को सफलता मान लेना, जिससे सॉफ़्ट ब्लॉक और खाली टेम्पलेट बिना पता चले डेटासेट को बिगाड़ देते हैं।
  • स्टेट वाले फ़्लो के बीच में IP रोटेट करना, जिससे टोकन अमान्य हो जाते हैं और दोबारा ऑथेंटिकेशन करना पड़ता है।
  • 429 के बाद उसी IP पर तुरंत रिट्राई करना, जो रेट लिमिट को ब्लॉक में बदल देता है।
  • GB-मीटर्ड प्लान पर इमेज, फ़ॉन्ट और ट्रैकर डाउनलोड करना, जिससे बिना किसी डेटा-मूल्य के लागत कई गुना हो जाती है।
  • नापी गई प्रति-IP सहनशीलता के बजाय पूल के आकार के हिसाब से खरीदना, जिससे क्षमता या तो बेकार जाती है या कम पड़ जाती है।

व्यावहारिक सुझाव

  • robots.txt और प्रकाशित शर्तों का सम्मान करें; कई साइटें API देती हैं।
  • बर्स्ट भेजने के बजाय हर डोमेन पर थ्रॉटल करें और रैंडम जिटर जोड़ें।
  • GB-मीटर वाले प्लान पर बैंडविड्थ घटाने के लिए इमेज और मीडिया ब्लॉक करें।
  • हर IP के HTTP स्टेटस कोड लॉग करें ताकि ब्लॉक जल्दी पकड़ में आएँ।

प्रॉक्सी का ज़िम्मेदारी से उपयोग करें

सिर्फ़ वही डेटा जुटाएँ जिस तक पहुँचने की आपको अनुमति है, रेट लिमिट और निजता कानून का सम्मान करें, और प्रॉक्सी का इस्तेमाल किसी सेवा पर हमला करने, उसे ओवरलोड करने या उससे धोखाधड़ी करने के लिए कभी न करें। दुरुपयोग से आपका एक्सेस खत्म हो सकता है।

स्क्रैपिंग के लिए कौन-सी प्रॉक्सी सबसे अच्छी है?

यह लक्ष्य पर निर्भर करता है। नरम रुख वाली साइटों के लिए डेटासेंटर, सुरक्षित साइटों के लिए रोटेटिंग रेज़िडेंशियल, स्थिर सेशन के लिए ISP। होम पेज की तुलना तालिका इन समझौतों का सार देती है।

मुझे कितनी प्रॉक्सी चाहिए?

अपनी ज़रूरी रिक्वेस्ट प्रति मिनट को लक्ष्य के लिए प्रति IP सुरक्षित दर से भाग दें। छोटे से शुरू करें, ब्लॉक दर नापें, फिर स्केल करें।

क्या स्क्रैपिंग कानूनी है?

यह डेटा, साइट की शर्तों और आपके अधिकार-क्षेत्र पर निर्भर करता है। व्यावसायिक प्रोजेक्ट के लिए कानूनी सलाह लें; प्रॉक्सी से वैधता नहीं बदलती।

क्या डेटासेंटर पैक के साथ रोटेशन मुझे खुद बनाना होगा?

हाँ। IPv4 डेटासेंटर प्रॉक्सी पैक में आपको यूज़रनेम और पासवर्ड ऑथेंटिकेशन वाले स्टैटिक पतों की सूची मिलती है, और कोई ऑटोमैटिक रोटेशन नहीं होता। रोटेशन अपने कोड में करें, जैसे प्रति-IP कूलडाउन के साथ राउंड-रॉबिन। रोटेटिंग रेज़िडेंशियल एंडपॉइंट आपके लिए एग्ज़िट पता खुद बदलते हैं।

स्क्रैपर के लिए HTTP चुनूँ या SOCKS5?

ज़्यादातर स्क्रैपिंग लाइब्रेरी HTTP प्रॉक्सी को सीधे सपोर्ट करती हैं, और HTTPS पेज CONNECT टनल के रूप में गुज़रते हैं। गैर-HTTP ट्रैफ़िक या केवल SOCKS5 सपोर्ट करने वाले टूल के लिए SOCKS5 काम आता है। डेटासेंटर और रेज़िडेंशियल प्लान में प्रोटोकॉल सपोर्ट प्रोवाइडर की लिस्टिंग से आता है और चेकआउट पर कोई सेलेक्टर नहीं है, इसलिए उस पर निर्भर होकर कुछ बनाने से पहले WhatsApp पर सेल्स टीम से अपने प्रोटोकॉल की पुष्टि कर लें।

GB प्लान खत्म किए बिना JavaScript-भारी पेज कैसे स्क्रैप करूँ?

पहले पेज में एम्बेडेड स्ट्रक्चर्ड डेटा खोजें, या वह JSON एंडपॉइंट देखें जिसे पेज खुद सार्वजनिक रूप से कॉल करता है; यह पूरे रेंडर से कहीं हल्का होता है। अगर हेडलेस ब्राउज़र चाहिए, तो इमेज, फ़ॉन्ट और मीडिया ब्लॉक करें और रनों के बीच स्टैटिक एसेट कैश करें। प्लान का आकार चुनने से पहले छोटे सैंपल पर प्रति पेज बाइट नाप लें।

एंटरप्राइज़

बड़ी मात्रा, कस्टम लोकेशन या खरीद-प्रक्रिया के अनुकूल सेटअप चाहिए?

बड़ी संख्या में IP, लंबे अनुबंध और समर्पित ऑनबोर्डिंग के बारे में सेल्स टीम से बात करें। हमें लक्षित देश और ट्रैफ़िक प्रोफ़ाइल बताएँ, हम उपयुक्त प्रस्ताव देंगे।