सॉल्यूशन

डेटा कलेक्शन के लिए प्रॉक्सी

रिसर्च, एनालिटिक्स और मशीन-लर्निंग पाइपलाइन सार्वजनिक डेटा की बड़ी मात्रा पर निर्भर करती हैं। प्रॉक्सी प्रति-IP बाधाएँ हटाकर और आपके डेटासेट के लिए ज़रूरी क्षेत्रीय व्यू देकर संग्रह को अनुमान-योग्य बनाती हैं।

डेटा कलेक्शन
IPv4 डेटासेंटर प्रॉक्सीशुरुआत TRY 250 / माह

चुनौती

यह काम मुश्किल क्यों है

  • थ्रूपुट की बाधाएँ

    एक अकेला IP तय कर देता है कि कोई भी पाइपलाइन एक स्रोत से प्रति मिनट कितने पेज खींच सकती है।

  • स्रोतों की विविधता

    कुछ स्रोत ऑटोमेशन का स्वागत करते हैं, जबकि दूसरे डेटासेंटर पतों को आक्रामक रूप से फ़िल्टर करते हैं।

  • कवरेज और पक्षपात

    जब कंटेंट क्षेत्र के अनुसार बदलता हो, तब एक ही लोकेशन से जुटाने पर पक्षपाती डेटासेट बनता है।

तरीका

सही प्रॉक्सी कैसे मदद करते हैं

  1. अपने IP को टियर में बाँटें

    बल्क ट्रैफ़िक डेटासेंटर या IPv6 IP पर भेजें और रेज़िडेंशियल उन स्रोतों के लिए रखें जिन्हें उसकी ज़रूरत है।

  2. क्षेत्र के अनुसार बाँटें

    हर संबंधित देश में कंटेंट जैसा दिखता है, उसका नमूना लेने के लिए रेज़िडेंशियल टार्गेटिंग इस्तेमाल करें।

  3. रोटेशन के हिसाब से योजना बनाएँ

    स्टेटलेस क्रॉलिंग के लिए रोटेटिंग पूल और ऑथेंटिकेटेड संग्रह के लिए स्टैटिक IP चुनें।

विस्तार से

नतीजा तय करने वाले ब्योरे

पाइपलाइन डिज़ाइन: पूल का फ़ैसला स्रोत को करने दें

कलेक्शन पाइपलाइन चलाना आसान होता है जब हर स्रोत को कॉन्फ़िगरेशन में एक बार बयान किया जाए और बाकी सब उसी से तय हो। सोर्स प्रोफ़ाइल में डोमेन, पूल का टियर, एक साथ चलने वाली रिक्वेस्ट की अधिकतम संख्या, रिक्वेस्ट के बीच न्यूनतम देरी, रीट्राई नीति और पार्सर का वर्शन होता है। शेड्यूलर प्रति-डोमेन कतारें भरता है, वर्कर उन सीमाओं के भीतर उनमें से रिक्वेस्ट उठाते हैं, और एक राउटर वह प्रॉक्सी जोड़ देता है जिसका नाम प्रोफ़ाइल में है। जब कोई स्रोत ब्लॉक करना शुरू करे, तो आप कोड बदलने के बजाय एक प्रोफ़ाइल बदलते हैं, और साफ़ दिखता है कि लागत के लिए कौन-सा पूल ज़िम्मेदार है।

फिर टियरिंग एक टेबल-लुकअप भर रह जाती है। खुले, सहनशील स्रोत डेटासेंटर IP पर जाते हैं, जहाँ ट्रैफ़िक अनलिमिटेड सूचीबद्ध है और मासिक बिल तय है। IPv6 सर्व करने वाले और कई पते चाहने वाले स्रोत IPv6 पैक इस्तेमाल कर सकते हैं, एक अहम चेतावनी के साथ: सारे पते एक ही /64 सबनेट से आते हैं, और कुछ सुरक्षा व्यवस्थाएँ हर पते के बजाय पूरे प्रीफ़िक्स पर सीमा लगाती हैं, इसलिए 2,500 पते एक ही क्लाइंट की तरह बर्ताव कर सकते हैं। सुरक्षित स्रोत प्रति GB बिल होने वाले रोटेटिंग रेज़िडेंशियल IP पर जाते हैं। जिन स्रोतों पर लॉग-इन चाहिए, वे स्टैटिक IP इस्तेमाल करते हैं ताकि सेशन एक ही पता रखे।

स्रोत का प्रकारपूलबिलिंग आधारकीमत की सीमा (TRY प्रति माह)
सहनशील, बल्कडेटासेंटर IPv4तय कीमत; ट्रैफ़िक अनलिमिटेड सूचीबद्ध30 IP: 250 · 1,000 IP: 2,000
IPv6 सक्षम, ज़्यादा पते चाहने वालाIPv6 (एक /64)तय कीमत; HTTP और HTTPS सूचीबद्ध100 IP: 100 · 15,000 IP: 2,250
सुरक्षित, देश के अनुसार बदलने वालारेज़िडेंशियल रोटेटिंगप्रति GB, 30 दिन की उपयोग अवधि5 GB: 350 · 300 GB: 9,000
लॉग-इन ज़रूरीISP स्टैटिकप्रति IP; मासिक से 12 महीने तक3 IP: 180 · 1,000 IP: 30,000

बजट का गणित: रिक्वेस्ट, बाइट और शिष्टता

जितना वॉल्यूम चाहिए, वहाँ से शुरू करके पीछे की ओर चलें। उदाहरण के तौर पर: रोज़ 500,000 पेज औसतन लगभग 5.8 रिक्वेस्ट प्रति सेकंड होते हैं। प्रति रिस्पॉन्स 1.2 सेकंड मानने पर, एक साथ लगभग सात रिक्वेस्ट चलती रहनी चाहिए, जिसे कोई भी छोटा वर्कर पूल संभाल लेता है। तब IP की संख्या कंकरेंसी से नहीं, शिष्टता से तय होती है। अगर कोई स्रोत हर पते से दस सेकंड में एक रिक्वेस्ट सहता है, तो उस एक स्रोत के लिए लगभग 58 पते चाहिए, इसलिए 400 TRY प्रति माह का 100-IP डेटासेंटर पैक गुंजाइश के साथ उसे कवर कर लेता है।

अब उसी काम की कीमत बाइट के हिसाब से लगाएँ। मान लें कि एक फ़ेच किया गया HTML दस्तावेज़ औसतन 40 KB का है: 500,000 पेज रोज़ 20 GB होते हैं, यानी महीने में लगभग 600 GB। प्रति GB 30 से 70 TRY वाले रेज़िडेंशियल प्लान पर यह तय कीमत वाले डेटासेंटर प्लान के बिल से बहुत अलग बिल है, और इसीलिए रेज़िडेंशियल ट्रैफ़िक केवल उन्हीं स्रोतों के लिए रखना चाहिए जिन्हें उसकी ज़रूरत है। जहाँ शर्तें अनुमति दें वहाँ बाइट घटाएँ: Accept-Encoding से कंप्रेस्ड रिस्पॉन्स माँगें, If-None-Match या If-Modified-Since भेजें ताकि अपरिवर्तित पेज एक छोटा-सा 304 लौटाएँ, और वे इमेज, फ़ॉन्ट और स्क्रिप्ट छोड़ दें जिन्हें आप पार्स नहीं करते।

शिष्टता आपकी भी रक्षा करती है। 58 पतों का पूल, जो दस सेकंड में एक रिक्वेस्ट भेजता है, फिर भी स्रोत तक 5.8 रिक्वेस्ट प्रति सेकंड पहुँचाता है, जो किसी छोटी साइट पर असली भार है। केवल प्रति-IP दर नहीं, प्रति-डोमेन कुल दर पर भी सीमा लगाएँ, और बड़े जॉब दिनभर में फैलाएँ। 429 और 5xx रिस्पॉन्स पर एक्सपोनेंशियल बैकऑफ़ करें, Retry-After मौजूद हो तो उसका पालन करें, और जब किसी स्रोत की एरर दर आपकी तय सीमा पार करे तो उसे पूरी तरह रोक दें। GB प्लान पर रीट्राई लागत को कई गुना बढ़ा देते हैं, इसलिए रीट्राई की सीमा बजट का नियंत्रण भी है और शिष्टाचार भी।

प्लान चुनने से पहले अपने ही लक्ष्यों पर प्रति पेज बाइट नापें; ऊपर दिए आँकड़े अनुमान हैं, सामान्य मान नहीं।

पाइपलाइन के भीतर अनुपालन और डेटा गवर्नेंस

अनुपालन तब सबसे आसान होता है जब उसे लोगों की याददाश्त के बजाय पाइपलाइन लागू करे। हर डोमेन की robots.txt फ़ेच करके कैश करें, उसे रोज़ ताज़ा करें, और फ़ेचर को ऐसे पाथ से मना कर दें जो disallow हैं। हर स्रोत की शर्तों का समीक्षित रिकॉर्ड रखें और एक फ़्लैग कि कोई आधिकारिक API या बल्क एक्सपोर्ट मौजूद है या नहीं; अगर है, तो उसका इस्तेमाल करें, क्योंकि वह सस्ता, तेज़ और असंदिग्ध है। अगर कोई स्रोत आपके क्रॉलर की पहचान कराने का तरीक़ा या बल्क एक्सेस के लिए संपर्क पता देता है, तो साइट को घुमाकर पार करने के बजाय उसी चैनल का इस्तेमाल करें।

तय करें कि आप क्या स्टोर नहीं करेंगे। सार्वजनिक का मतलब दायित्वों से मुक्त होना नहीं है: नाम, ईमेल पते, फ़ोटो और ऐसे ब्योरे GDPR या तुर्की के KVKK जैसे कानूनों के तहत व्यक्तिगत डेटा हो सकते हैं, और दिखाई देने पर भी उन्हें इकट्ठा करने के लिए कानूनी आधार चाहिए हो सकता है। ऐसी पाइपलाइनें चुनें जो सिर्फ़ ज़रूरी फ़ील्ड निकालें, बाकी पार्स के समय छोड़ दें और रिटेंशन की सीमा रखें। यह सामान्य जानकारी है, कानूनी सलाह नहीं; लोगों से जुड़े व्यावसायिक डेटासेट के लिए, कलेक्शन शुरू होने से पहले योग्य सलाह लें।

अंत में, हर रिकॉर्ड को ट्रेस करने योग्य बनाएँ। हर पंक्ति के साथ स्रोत URL, UTC में फ़ेच का समय, HTTP स्टेटस, पूल टियर, एग्ज़िट देश और पार्सर वर्शन स्टोर करें। प्रोवेनेंस (स्रोत का पूरा ब्योरा) से आप किसी स्रोत के आपत्ति करने पर उससे जुड़ा सब कुछ हटा सकते हैं, किसी स्टेकहोल्डर द्वारा सवाल उठाए गए आँकड़े को दोहरा सकते हैं और पकड़ सकते हैं कि कब कोई क्षेत्र-विशेष सैंपल डेटासेट को झुका रहा है। यह आपके अच्छे आचरण का प्रमाण भी देता है: अगर कोई साइट मालिक आपसे संपर्क करे, तो आप रिक्वेस्ट दरें दिखा सकते हैं और तुरंत जवाब दे सकते हैं, और आपको पहले जॉब रोकना चाहिए, बातचीत बाद में।

प्लेबुक

एक व्यावहारिक कार्यान्वयन योजना

पहले परीक्षण से लेकर स्थिर, निगरानी वाले संचालन तक चार चरण।

  1. स्रोतों की सूची बनाएँ और वर्गीकृत करें

    हर स्रोत को उसके robots.txt नियमों, शर्तों, आधिकारिक API या एक्सपोर्ट, और इस जानकारी के साथ सूचीबद्ध करें कि वह AAAA रिकॉर्ड प्रकाशित करता है या नहीं (DNS लुकअप टूल से जाँचें)। जो भी इकट्ठा करने की आपको अनुमति नहीं है, उसे छोड़ दें या दोबारा डिज़ाइन करें।

  2. टियर और बजट तय करें

    हर स्रोत को एक पूल, प्रति-डोमेन रिक्वेस्ट की ऊपरी सीमा और दैनिक बाइट बजट दें, और इन्हें कोड में नहीं, कॉन्फ़िगरेशन में लिखें।

  3. एक प्रतिशत पर पायलट करें

    योजनाबद्ध वॉल्यूम का एक प्रतिशत कई दिनों तक चलाएँ। प्रति पेज बाइट, स्टेटस का मिश्रण और डुप्लिकेट नापें, फिर मापे गए डेटा से प्लान का आकार दोबारा निकालें।

  4. ऑटोमैटिक बैकऑफ़ के साथ चरणों में स्केल करें

    वॉल्यूम चरणों में बढ़ाएँ, 403 और 429 दरों पर अलर्ट और हर स्रोत के लिए ऑटोमैटिक रोक के साथ, और हर हफ़्ते प्रति हज़ार रिकॉर्ड लागत की समीक्षा करें।

हल किए गए परिदृश्य

व्यवहार में यह कैसा दिखता है

उदाहरण मात्र: संख्याएँ तर्क समझाने के लिए अनुमान हैं, मापे गए नतीजे नहीं।

एक सहनशील डायरेक्टरी, रोज़ 120,000 पेज

यह लगभग 1.4 रिक्वेस्ट प्रति सेकंड है। हर IP से पाँच सेकंड में एक रिक्वेस्ट के हिसाब से सात पते इसे संभाल लेंगे, इसलिए 250 TRY प्रति माह का 30-IP डेटासेंटर पैक पहले से ही काफ़ी है। असली सीमा डायरेक्टरी पर पड़ने वाला भार है, इसलिए टीम कुल दर सीमित करती है और फ़ेच दिनभर में फैलाती है (उदाहरण मात्र आँकड़े)।

तीन देश, साप्ताहिक स्वीप

एक टीम हर हफ़्ते तीन देशों में से हर एक के 5,000 लिस्टिंग पेज देश-टार्गेटेड रेज़िडेंशियल IP से सैंपल करती है, और सिर्फ़ HTML फ़ेच करती है, प्रति पेज 150 KB मानकर। एक स्वीप 3 × 5,000 × 150 KB है, लगभग 2.25 GB, इसलिए चार स्वीप में लगभग 9 GB लगता है और 650 TRY का 10 GB प्लान फ़िट बैठता है, रीट्राई के लिए थोड़ी ही गुंजाइश के साथ।

IPv6 सक्षम स्रोत

एक स्रोत AAAA रिकॉर्ड प्रकाशित करता है, जिसकी पुष्टि DNS लुकअप टूल से हुई है। टीम 300 TRY प्रति माह का 500-IP IPv6 पैक टेस्ट करती है, पर चूँकि सारे पते एक /64 साझा करते हैं, वह पूरे पूल पर एक ही टोकन बकेट लगाती है, और प्रतिबद्ध होने से पहले 400 TRY के 100-IP डेटासेंटर पैक से सफलता दर की तुलना करती है।

क्या मापें

इन्हें पहले दिन से ट्रैक करें, ताकि समस्याएँ चौंकाने के बजाय आँकड़ों के रूप में दिखें।

  • हर स्रोत के लिए स्टेटस क्लास के अनुसार सफलता दर: 403, 429 और 5xx के मुकाबले 2xx रिस्पॉन्स का हिस्सा, हर घंटे ट्रैक किया गया।
  • प्रति सफल रिकॉर्ड बाइट, जो सीधे GB प्लान की लागत में बदलता है और दिखाता है कि पार्सर या रीट्राई कब ट्रैफ़िक बर्बाद कर रहे हैं।
  • पूल टियर के अनुसार प्रति 1,000 रिकॉर्ड लागत TRY में, ताकि दिखे कि किसी स्रोत को दूसरे पूल में ले जाना कब फ़ायदेमंद है।
  • डेटा की ताज़गी: हर स्रोत के डेटासेट में सबसे पुराने रिकॉर्ड की उम्र, रिफ़्रेश लक्ष्य के मुकाबले।
  • डुप्लिकेट और पार्स-विफलता दरें, क्योंकि लेआउट में चुपचाप बदलाव और दोहराए गए फ़ेच, दोनों डेटा जोड़े बिना लागत बढ़ाते हैं।

आम गलतियाँ

ऐसे तरीके जो बजट बर्बाद करते हैं या ब्लॉक का कारण बनते हैं।

  • IP की संख्या स्रोत की सहनशीलता के बजाय कंकरेंसी से तय करना, जिससे या तो स्रोत पर ओवरलोड होता है या खर्च बर्बाद होता है।
  • एक IPv6 /64 के हज़ारों पतों को स्वतंत्र पहचान मानना, जबकि प्रीफ़िक्स के आधार पर सीमा लगाने वाली सुरक्षा उसे एक ही क्लाइंट देखती है।
  • GB प्लान पर असीमित रीट्राई चलाना, जहाँ एक ब्लॉक रीट्राई की बाढ़ बन सकता है जो घंटों में मासिक कोटा खत्म कर दे।
  • कोई प्रोवेनेंस स्टोर न करना, जिससे स्रोत या कोई नियामक पूछे तो आप किसी रिकॉर्ड को समझा, सुधार या हटा नहीं सकते।
  • व्यक्तिगत डेटा “क्योंकि वह सार्वजनिक है” इकट्ठा करना, जिसके लिए डेटा-सुरक्षा कानून के तहत फिर भी कानूनी आधार चाहिए हो सकता है।

व्यावहारिक सुझाव

  • हर रिकॉर्ड के साथ स्रोत URL, समय, IP प्रकार और देश स्टोर करें।
  • 429 और 403 रिस्पॉन्स पर अपने-आप रुकें और धीमे हों।
  • आधिकारिक API और बल्क एक्सपोर्ट को प्राथमिकता दें।
  • जब तक कानूनी आधार न हो, अपनी पाइपलाइन में निजी डेटा न रखें।

प्रॉक्सी का ज़िम्मेदारी से उपयोग करें

सार्वजनिक डेटा कानूनी और सम्मानजनक ढंग से जुटाएँ: robots.txt और शर्तों का पालन करें, डेटा-सुरक्षा कानून मानें, और सेवाओं को ओवरलोड करने से बचें।

IPv6 और IPv4 में से कैसे चुनूँ?

जो स्रोत IPv6 पर सर्व करते हैं और जिन्हें बहुत सारे पते चाहिए, उनके लिए IPv6; सार्वभौमिक पहुँच के लिए IPv4।

क्या रोटेटिंग प्रॉक्सी संग्रह को कानूनी बना देती हैं?

नहीं। वैधता इस पर निर्भर करती है कि आप क्या और कैसे जुटाते हैं, प्रॉक्सी पर नहीं।

मुझे बैंडविड्थ का बजट कैसे बनाना चाहिए?

असली पेजों का नमूना लें, बाइट्स नापें, फिर गुणा करें। इमेज और स्क्रिप्ट ब्लॉक करने से खपत नाटकीय रूप से घट सकती है।

क्या मुझे robots.txt का पालन करना ज़रूरी है?

robots.txt कानून नहीं, एक परिपाटी है, लेकिन यह साइट मालिक की इच्छा व्यक्त करती है, और इसे अनदेखा करना उपयोग की शर्तों का उल्लंघन हो सकता है या किसी विवाद में आपकी स्थिति कमज़ोर कर सकता है। हम इसका पालन करने की सलाह देते हैं, और जहाँ आधिकारिक API या एक्सपोर्ट मौजूद हो वहाँ उसका इस्तेमाल करने की। यह सामान्य मार्गदर्शन है, कानूनी सलाह नहीं।

मुझे कैसे पता चलेगा कि कोई स्रोत IPv6 पर चलता है?

DNS लुकअप टूल से उसके AAAA रिकॉर्ड देखें: AAAA रिकॉर्ड न हो तो साइट सिर्फ़ IPv4 पर है, और सिर्फ़-IPv6 एग्ज़िट आमतौर पर उस तक नहीं पहुँच सकता। रिकॉर्ड का होना ज़रूरी है पर काफ़ी नहीं, इसलिए पैक से एक छोटा टेस्ट चलाएँ। प्रोवाइडर IPv6 के लिए HTTP और HTTPS सूचीबद्ध करता है; SOCKS5 की पुष्टि नहीं है।

लंबा क्रॉल दोबारा शुरू होने पर मैं GB बर्बाद होने से कैसे बचूँ?

अपनी कतार और फ़ेच किए गए URL का रिकॉर्ड उनके ETag या कंटेंट हैश के साथ सहेजें, ताकि रीस्टार्ट दोहराने के बजाय वहीं से आगे बढ़े। फ़ेच को idempotent बनाएँ और कतार में डालने से पहले URL की डुप्लिकेट-जाँच करें। हर दोहराया गया पेज रेज़िडेंशियल GB प्लान पर असली पैसे खर्च करता है, जिनकी उपयोग अवधि भी 30 दिन की है, इसलिए अपने फ़ेच उसी में फ़िट होने के हिसाब से योजना बनाएँ।

एंटरप्राइज़

बड़ी मात्रा, कस्टम लोकेशन या खरीद-प्रक्रिया के अनुकूल सेटअप चाहिए?

बड़ी संख्या में IP, लंबे अनुबंध और समर्पित ऑनबोर्डिंग के बारे में सेल्स टीम से बात करें। हमें लक्षित देश और ट्रैफ़िक प्रोफ़ाइल बताएँ, हम उपयुक्त प्रस्ताव देंगे।