रोटेटिंग प्रॉक्सी कैसे काम करते हैं

रोटेटिंग प्रॉक्सी आपको सूचियाँ संभाले बिना नया IP देता है। गेटवे के पीछे क्या होता है और इसे अच्छी तरह कैसे इस्तेमाल करें, यहाँ पढ़ें।

12 मिनट में पढ़ें

स्टैटिक प्रॉक्सी में आपको IP की सूची मिलती है और आप तय करते हैं कि कब किसे इस्तेमाल करना है। रोटेटिंग प्रॉक्सी यह फ़ैसला प्रोवाइडर को सौंप देता है: आपका क्लाइंट एक गेटवे एड्रेस से कनेक्ट होता है और प्रोवाइडर एक बड़े पूल से एग्ज़िट IP चुनता है।

रोटेशन मोड

  • प्रति रिक्वेस्ट: हर कनेक्शन अलग एड्रेस से निकलता है — स्टेटलेस फ़ेचिंग के लिए सर्वोत्तम।
  • स्टिकी सेशन: एक अवधि या सेशन ID तक वही एड्रेस बना रहता है — लॉगिन और बहु-चरणीय फ़्लो के लिए सर्वोत्तम।
  • ऑन डिमांड: बदलाव आप ख़ुद शुरू करते हैं, उदाहरण के लिए मोबाइल प्रॉक्सी पर IP-चेंज लिंक से।

पूल कहाँ से आता है

रेज़िडेंशियल पूल घरेलू कनेक्शन इस्तेमाल करते हैं, मोबाइल पूल कैरियर नेटवर्क पर SIM कार्ड। पूल का आकार, भौगोलिक फैलाव और गुणवत्ता तय करते हैं कि आपको कितनी बार ऐसा एड्रेस मिलता है जिसे टार्गेट ने पहले से फ़्लैग न किया हो।

क्या गड़बड़ हो सकती है

  • सेशन टूटना: एक IP को जारी की गई कुकी तब अस्वीकार हो सकती है जब अगला रिक्वेस्ट दूसरे IP से आए। स्टेटफ़ुल फ़्लो के लिए स्टिकी सेशन इस्तेमाल करें।
  • असंगत फ़िंगरप्रिंट: वही ब्राउज़र फ़िंगरप्रिंट रखते हुए IP बदलना कुछ साइटों को अजीब लग सकता है।
  • अस्पष्ट समय: प्रोवाइडर रोटेशन अंतराल अलग-अलग तरह से बताते हैं; इस पर कुछ बनाने से पहले IP-इको एंडपॉइंट से असली व्यवहार जाँच लें।

रोटेशन को ख़ुद टेस्ट करना

गेटवे से होकर IP-इको सेवा को दस रिक्वेस्ट भेजें और एड्रेस दर्ज करें। अनोखे IP गिनें और देखें कि वे कितनी बार बदलते हैं। इस साइट का प्रॉक्सी चेकर और IP एड्रेस चेकर इस तरह के टेस्ट के लिए उपयुक्त हैं।

प्रॉक्सी टूलIP एड्रेस चेकरदेखें कि सर्वर को आपके कनेक्शन का कौन-सा सार्वजनिक IP पता दिखता है, वह IPv4 है या IPv6, और आपकी रिक्वेस्ट के साथ प्रॉक्सी से जुड़े कौन-से हेडर आते हैं।देखें

मोबाइल और रेज़िडेंशियल रोटेशन में से चुनना

मोबाइल पूल में सबसे अधिक भरोसा मिलता है पर वे धीमे और मीटर्ड होते हैं। रेज़िडेंशियल पूल ज़्यादा व्यापक हैं और समय के आधार पर अनलिमिटेड-ट्रैफ़िक प्लान के साथ उपलब्ध हैं। वह चुनें जिसका ट्रेड-ऑफ़ आपके वर्कलोड से मेल खाता हो।

गेटवे के भीतर: एक रिक्वेस्ट के साथ क्या होता है

ज़्यादातर रोटेटिंग प्लान बैककनेक्ट गेटवे पर बने होते हैं: एक होस्टनेम और पोर्ट, जिसे आप एक बार कॉन्फ़िगर करते हैं और जिसके पीछे एग्ज़िट नोड्स का बड़ा पूल होता है। आपका क्लाइंट गेटवे पर ऑथेंटिकेट करता है, गेटवे आपके क्रेडेंशियल्स से जुड़ी सेशन सेटिंग के अनुसार एक एग्ज़िट नोड चुनता है, और आपके कनेक्शन को डेस्टिनेशन तक रिले करता है। वेबसाइट को केवल एग्ज़िट नोड का पता दिखता है। क्योंकि आप जिस पते पर कनेक्ट करते हैं वह कभी नहीं बदलता, आपके कोड को IP सूची की ज़रूरत नहीं पड़ती; लेकिन अब रोटेशन तार के प्रोवाइडर वाले छोर पर होता है, जहाँ आपके पास सबूत के तौर पर सिर्फ़ वही होता है जो डेस्टिनेशन आपको वापस बताता है।

व्यवहार में दो नतीजे मायने रखते हैं। पहला, ज़्यादातर गेटवे डिज़ाइनों में एग्ज़िट तब चुना जाता है जब नया कनेक्शन खुलता है, हर बाइट के लिए नहीं। HTTP प्रॉक्सी के ज़रिए HTTPS रिक्वेस्ट एक अकेली CONNECT टनल होती है, इसलिए उस टनल में आपका क्लाइंट जो भी रिक्वेस्ट भेजता है, जिनमें keep-alive कनेक्शन पर उसी होस्ट को भेजी गई अगली रिक्वेस्ट भी शामिल हैं, वे “रोटेटिंग” प्लान पर भी उसी एग्ज़िट IP से निकलती हैं। दूसरा, जो रीट्राई कनेक्शन को दोबारा इस्तेमाल करता है वह पता नहीं बदलेगा, इसलिए “नए IP पर रीट्राई” का मतलब “नए कनेक्शन पर रीट्राई” होना चाहिए।

स्टिकी सेशन: लेबल, अवधि और चुपचाप होने वाले बदलाव

स्टिकी सेशन आमतौर पर एक सेशन लेबल से एग्ज़िट नोड तक की मैपिंग होती है, जो सीमित अवधि के लिए चलती है। लेबल कैसे भेजा जाता है (यूज़रनेम के भीतर, अलग पोर्ट के रूप में, या पैनल सेटिंग से) यह सेवाओं के बीच अलग होता है, इसलिए किसी दूसरे प्रोवाइडर का फ़ॉर्मैट कभी कॉपी न करें। BuyProxy के रेज़िडेंशियल प्लान में रोटेटिंग और स्टिकी, दोनों सेशन सूचीबद्ध हैं, लेकिन लेबल का सटीक फ़ॉर्मैट और अधिकतम स्टिकी अवधि इस साइट पर प्रकाशित नहीं हैं; इन पर वर्कफ़्लो बनाने से पहले WhatsApp पर सेल्स से पूछ लें।

किसी भी स्टिकी अवधि को ऊपरी सीमा मानें, वादा नहीं। रेज़िडेंशियल पूल में एग्ज़िट एक घरेलू कनेक्शन होता है जो किसी भी पल ऑफ़लाइन हो सकता है, और मोबाइल एग्ज़िट तब बदल सकता है जब SIM दोबारा कनेक्ट हो। ऐसा होने पर गेटवे दूसरा नोड सौंप देता है और आपका सेशन किसी दूसरे पते से आगे चलता रहता है। क्लाइंट को इस तरह डिज़ाइन करें कि अचानक पता बदलने पर भी काम चलता रहे:

  • वर्कफ़्लो की स्थिति (कुकी, टोकन, पेजिनेशन कर्सर) IP के वही रहने पर निर्भर रहने के बजाय अपने स्टोरेज में, टास्क के अनुसार कुंजी बनाकर रखें।
  • मल्टी-स्टेप फ़्लो की शुरुआत में एग्ज़िट IP एक बार निकालें, और जब भी लॉगिन चैलेंज या सेशन एरर दिखे तब दोबारा निकालें, ताकि आप नोड बदलने और असली अस्वीकृति में फ़र्क़ कर सकें।
  • फ़्लो ऐसे बनाएँ कि वे शुरुआत से नहीं, आख़िरी सुरक्षित स्टेप से दोबारा शुरू हो सकें।
  • हर समानांतर वर्कर को उसका अपना सेशन लेबल दें; एक लेबल को कई वर्कर में साझा करने से उनका ट्रैफ़िक एक ही एग्ज़िट पर गुँथ जाता है और प्रति-IP रेट बजट टूट जाता है।

स्क्रिप्ट से रोटेशन का व्यवहार नापें

ऊपर के लेख का दस-रिक्वेस्ट टेस्ट बताता है कि पते बदलते हैं या नहीं। नीचे की स्क्रिप्ट यह भी दिखाती है कि कभी-कभी वे क्यों नहीं बदलते; इसके लिए वह नए कनेक्शनों की तुलना दोबारा इस्तेमाल किए गए एक कनेक्शन से करती है। इसे अपने क्रेडेंशियल्स के साथ गेटवे पर चलाएँ; यह एक IP-इको एंडपॉइंट को कॉल करती है, इसलिए हर जवाब वही एग्ज़िट पता होता है जो वेबसाइट देखती।

Python
import collections
import requests

GATEWAY = "http://USER:PASS@GATEWAY_HOST:PORT"
PROXIES = {"http": GATEWAY, "https": GATEWAY}
ECHO = "https://api.ipify.org"

def sample(n, reuse):
    seen = []
    session = requests.Session() if reuse else None
    for _ in range(n):
        get = session.get if reuse else requests.get
        seen.append(get(ECHO, proxies=PROXIES, timeout=20).text.strip())
    return seen

for reuse in (False, True):
    ips = sample(20, reuse)
    print("reused connection:", reuse, "| unique:", len(set(ips)), "of", len(ips))
    print(collections.Counter(ips).most_common(3))

दोनों नतीजे वाली पंक्तियों को साथ पढ़ें। अगर नए-कनेक्शन वाले रन में ज़्यादातर पते अलग-अलग दिखें और सेशन वाले रन में एक या दो, तो रोटेशन प्रति-कनेक्शन है और आपकी HTTP लाइब्रेरी की कनेक्शन पूलिंग उसे छिपा रही है। अगर दोनों रन में बार-बार दोहराने वाले पतों का छोटा-सा सेट दिखे, तो आपके प्लान या टार्गेटिंग के लिए उपलब्ध पूल संकरा है। कुछ दोहराव सामान्य है: 1,000 पतों के प्रभावी पूल के साथ (यह केवल उदाहरण के लिए माना गया आँकड़ा है), 20 ड्रॉ में कम से कम एक दोहराव की संभावना लगभग 1 − e^(−190/1000), यानी करीब 17 प्रतिशत होती है, क्योंकि 20 ड्रॉ में 190 जोड़े होते हैं। रोटेशन को किसी एक सैंपल से नहीं, सैकड़ों रिक्वेस्ट पर अलग-अलग पतों के अनुपात से आँकें।

रोटेशन को वर्कलोड से मिलाना

रोटेशन मोड इस आधार पर चुनें कि आपकी रिक्वेस्ट के बीच सर्वर क्या याद रखता है, आदत के आधार पर नहीं। सर्वर किसी पते के साथ जितनी ज़्यादा स्थिति जोड़ता है, आपको उतना कम रोटेट करना चाहिए।

  • स्टेटलेस सार्वजनिक पेज (लिस्टिंग, सर्च रिज़ल्ट, सार्वजनिक JSON): हर रिक्वेस्ट पर नया कनेक्शन, कोई सेशन लेबल नहीं, और कभी-कभार दोहराए गए पते को सह लेने की गुंजाइश।
  • सर्वर-साइड कर्सर वाले पेजिनेटेड क्रॉल: पूरे क्रॉल के लिए एक स्टिकी सेशन, जो क्रॉल ख़त्म होने पर छोड़ दिया जाए।
  • लॉगिन, कार्ट या चेकआउट फ़्लो जिनकी कुकी किसी पते से बँधी हों: पूरे फ़्लो के लिए एक स्टिकी सेशन, या अगर अकाउंट को कई दिनों तक एक ही पता रखना है तो स्टैटिक ISP या मोबाइल IP।
  • लंबे समय तक चलने वाले कनेक्शन, जैसे WebSocket या स्ट्रीमिंग: स्टिकी सेशन के साथ रीकनेक्ट लॉजिक, क्योंकि स्ट्रीम के बीच में रोटेशन होने से कनेक्शन टूट जाता है।
  • एक पेज को कई देशों से जाँचना: सेशन दोबारा इस्तेमाल करने के बजाय हर रन के लिए अलग देश टार्गेट माँगें, और दर्ज करें कि हर नतीजा किस देश से आया।

मीटर्ड पूल: रोटेशन की लागत गिनना

रोटेशन और बिलिंग एक-दूसरे को प्रभावित करते हैं। रेज़िडेंशियल GB प्लान (5, 10, 50, 100, 200 और 300 GB) में 30 दिन की उपयोग अवधि होती है, रोटेटिंग मोबाइल पैक 5, 10 और 100 GB के एक बार की खरीद वाले पैक हैं, और अनलिमिटेड रोटेटिंग मोबाइल की बिलिंग मासिक होती है; अनलिमिटेड रोटेटिंग रेज़िडेंशियल दैनिक, साप्ताहिक और मासिक अवधि में मिलता है। किसी भी मीटर्ड प्लान पर हर रीट्राई डेटा खर्च करता है, उन छोटे ब्लॉक पेजों समेत जिन्हें आप फेंक देते हैं।

उदाहरण के आँकड़ों के साथ एक हल किया हुआ उदाहरण: औसतन 250 KB वाले 100,000 पेज फ़ेच मिलकर 25 GB होते हैं। अगर 15 प्रतिशत फ़ेच को एक पूरे आकार का रीट्राई चाहिए, तो कुल लगभग 28.75 GB बैठता है, यानी 50 GB का प्लान इस रन को कवर कर लेता है, जबकि 10 GB का प्लान लगभग एक-तिहाई रास्ते में ही ख़त्म हो जाएगा। प्रति रिक्वेस्ट बाइट के बजाय प्रति सफल रिकॉर्ड बाइट पर नज़र रखें, और हेडर, रिसोर्स ब्लॉकिंग या रीट्राई नीति में हर बदलाव के बाद इस आँकड़े की तुलना करें।

अक्सर पूछे जाने वाले प्रश्न

मुझे लगातार दो बार एक ही IP एड्रेस क्यों मिला?

पूल से दोहराए गए पते मिल सकते हैं, और दोबारा इस्तेमाल किया गया कनेक्शन अपना एग्ज़िट बनाए रखता है; दोनों सामान्य हैं। ऊपर की स्क्रिप्ट से नए-कनेक्शन वाले रन की तुलना सेशन वाले रन से करें, और सैकड़ों रिक्वेस्ट पर अलग-अलग पतों के अनुपात से आँकें। संकरा देश या शहर टार्गेट उपयोग-योग्य पूल को छोटा कर देता है, जिससे दोहराव ज़्यादा बार होते हैं।

क्या गेटवे से समानांतर कनेक्शनों की कोई सीमा है?

हर प्लान की कॉन्करेंसी सीमाएँ इस साइट पर प्रकाशित नहीं हैं, इसलिए बड़े काम का आकार तय करने से पहले WhatsApp पर सेल्स से पूछें। व्यवहार में कॉन्करेंसी चरणों में बढ़ाएँ और हर चरण पर एरर कोड और टाइमआउट देखें; प्रॉक्सी चेकर auth, refused और timeout जैसे कोड बताता है। जब एरर थ्रूपुट से तेज़ बढ़ने लगें, तब कॉन्करेंसी बढ़ाना रोक दें।

स्टैटिक सूची रोटेटिंग गेटवे से कब बेहतर है?

स्टैटिक सूची तब चुनें जब आपको ऐसा पता चाहिए जिसे कई दिनों तक आपसे जोड़ा जा सके, जब आप किसी ज्ञात IP से नतीजा दोहराकर देखना चाहें, या जब आपका लागत मॉडल प्रति GB के बजाय प्रति पता हो। ज़्यादा वॉल्यूम वाले, स्टेटलेस कामों के लिए, जो कई साइटों या लोकेशन में फैले हों, रोटेटिंग गेटवे चुनें। कई प्रोजेक्ट दोनों इस्तेमाल करते हैं: अकाउंट के लिए स्टैटिक IP और सार्वजनिक डेटा के लिए रोटेटिंग पूल।

तय नहीं कर पा रहे कि कौन-सा प्लान सही है?

अपना उपयोग और लक्षित देश बताएँ, हम कोई प्रोडक्ट सुझाएँगे — या ईमानदारी से बताएँगे कि आपके लिए कोई दूसरा प्रकार बेहतर है।