Rotating Proxy’ler Nasıl Çalışır
Rotating proxy, listeleri yönetmeden size taze bir IP verir. Gateway’in arkasında ne olduğu ve onu iyi kullanmanın yolu burada.
Statik proxy’de bir IP listesi alırsınız ve her birini ne zaman kullanacağınıza siz karar verirsiniz. Rotating proxy bu kararı sağlayıcıya taşır: istemciniz tek bir gateway adresine bağlanır, çıkış IP’sini ise sağlayıcı geniş bir havuzdan seçer.
Rotasyon modları
- İstek başına: her bağlantı farklı bir adresten çıkar — durumsuz veri çekme için en iyisi.
- Sticky oturum: aynı adres bir süre veya oturum kimliği boyunca korunur — girişler ve çok adımlı akışlar için en iyisi.
- İsteğe bağlı: değişikliği kendiniz tetiklersiniz, örneğin mobil proxy’deki bir IP değiştirme bağlantısıyla.
Havuz nereden gelir
Residential havuzlar ev bağlantılarını, mobil havuzlar operatör ağlarındaki SIM kartları kullanır. Havuz boyutu, coğrafi dağılım ve kalite, bir hedefin daha önce işaretlemediği bir adresi ne sıklıkla aldığınızı belirler.
Neler ters gidebilir
- Oturum kopmaları: bir IP’ye verilen çerez, sonraki istek başka bir IP’den geldiğinde reddedilebilir. Durum bilgisi tutan akışlar için sticky oturum kullanın.
- Tutarsız parmak izleri: aynı tarayıcı parmak izini korurken IP değiştirmek bazı sitelere garip görünebilir.
- Belirsiz zamanlama: sağlayıcılar rotasyon aralıklarını farklı tanımlar; üzerine bir şey inşa etmeden önce gerçek davranışı bir IP yankı uç noktasıyla doğrulayın.
Rotasyonu kendiniz test etme
Gateway üzerinden bir IP yankı hizmetine on istek gönderin ve adresleri kaydedin. Benzersiz IP’leri sayın ve ne sıklıkla değiştiklerini izleyin. Bu sitedeki proxy kontrol aracı ve IP adresi kontrol aracı bu tür bir teste uygundur.
Proxy araçlarıIP Adresi KontrolüSunucunun bağlantınız için gördüğü genel IP adresini, bunun IPv4 mü IPv6 mı olduğunu ve isteğinizin hangi proxy ile ilgili header’ları taşıdığını görün.KeşfetMobil ve residential rotasyon arasında seçim
Mobil havuzlar en yüksek güveni taşır ancak daha yavaştır ve ölçümlüdür. Residential havuzlar daha geniştir ve süreye göre sınırsız trafikli paketlerle sunulur. Ödünleşimi iş yükünüze uyan olanı seçin.
Gateway’in içinde: tek bir istekte neler olur
Çoğu rotating plan, bir backconnect gateway üzerine kuruludur: büyük bir çıkış düğümü havuzunun önünde, bir kez yapılandırdığınız tek bir hostname ve port. İstemciniz gateway’de kimlik doğrular, gateway kimlik bilgilerinize bağlı oturum ayarlarına göre bir çıkış düğümü seçer ve bağlantınızı hedefe aktarır. Web sitesi yalnızca çıkış düğümünün adresini görür. Bağlandığınız adres hiç değişmediği için kodunuzun bir IP listesine ihtiyacı yoktur; ancak rotasyon artık hattın sağlayıcı tarafında gerçekleşir ve elinizdeki tek kanıt, hedefin size geri bildirdiği bilgidir.
Pratikte iki sonuç önemlidir. Birincisi, çoğu gateway tasarımında çıkış, her bayt için değil, yeni bir bağlantı açıldığında seçilir. Bir HTTP proxy üzerinden yapılan HTTPS isteği tek bir CONNECT tünelidir; bu yüzden istemcinizin o tünelden gönderdiği tüm istekler, kalıcı (keep-alive) bir bağlantı üzerinden aynı host’a yapılan sonraki istekler dahil, “rotating” bir planda bile aynı çıkış IP’sinden çıkar. İkincisi, bağlantıyı yeniden kullanan bir yeniden deneme adres değiştirmez; dolayısıyla “yeni bir IP’de yeniden dene”, “yeni bir bağlantıda yeniden dene” anlamına gelmelidir.
Sticky session’lar: etiketler, süreler ve sessiz değişiklikler
Sticky session, genellikle bir oturum etiketinin sınırlı bir süre boyunca bir çıkış düğümüne eşlenmesidir. Etiketin nasıl iletildiği (kullanıcı adının içinde, ayrı bir port olarak ya da bir panel ayarıyla) hizmetten hizmete değişir; bu yüzden başka bir sağlayıcının biçimini asla kopyalamayın. BuyProxy için residential planlarda hem rotating hem sticky session’lar listelenir, ancak tam etiket biçimi ve en uzun sticky süresi bu sitede yayımlanmamıştır; bunlara dayalı bir iş akışı kurmadan önce WhatsApp’tan satış ekibine sorun.
Her sticky süresini bir söz değil, bir üst sınır olarak görün. Residential havuzda çıkış, her an çevrimdışı olabilecek bir ev bağlantısıdır; mobil çıkış ise SIM yeniden bağlandığında değişebilir. Bu olduğunda gateway başka bir düğüm atar ve oturumunuz farklı bir adresten devam eder. İstemciyi, beklenmedik bir adres değişikliğinden sorunsuz çıkacak şekilde tasarlayın:
- İş akışı durumunu (cookie’ler, token’lar, sayfalama imleçleri) IP’nin aynı kalmasına güvenmek yerine, görev bazında anahtarlanmış kendi depolama alanınızda tutun.
- Çok adımlı bir akışın başında çıkış IP’sini bir kez, bir giriş doğrulaması (challenge) ya da oturum hatası göründüğünde ise yeniden alın; böylece bir düğüm değişikliğini gerçek bir reddedilmeden ayırt edebilirsiniz.
- Akışları baştan değil, son güvenli adımdan yeniden başlatılabilir yapın.
- Her eşzamanlı worker’a kendi oturum etiketini verin; tek bir etiketi worker’lar arasında paylaşmak trafiklerini tek bir çıkışta iç içe geçirir ve IP başına istek bütçesini bozar.
Rotasyon davranışını bir betikle ölçün
Yukarıdaki makaledeki on istekli test, adreslerin değişip değişmediğini söyler. Aşağıdaki betik ise taze bağlantıları yeniden kullanılan bir bağlantıyla karşılaştırarak adreslerin bazen neden değişmediğini de gösterir. Betiği kendi kimlik bilgilerinizle gateway’e karşı çalıştırın; bir IP yansıtma (echo) uç noktasını çağırır, bu yüzden her yanıt web sitesinin göreceği çıkış adresidir.
import collections
import requests
GATEWAY = "http://USER:PASS@GATEWAY_HOST:PORT"
PROXIES = {"http": GATEWAY, "https": GATEWAY}
ECHO = "https://api.ipify.org"
def sample(n, reuse):
seen = []
session = requests.Session() if reuse else None
for _ in range(n):
get = session.get if reuse else requests.get
seen.append(get(ECHO, proxies=PROXIES, timeout=20).text.strip())
return seen
for reuse in (False, True):
ips = sample(20, reuse)
print("reused connection:", reuse, "| unique:", len(set(ips)), "of", len(ips))
print(collections.Counter(ips).most_common(3))İki sonuç satırını birlikte okuyun. Taze bağlantı çalıştırması çoğunlukla benzersiz adresler, oturum çalıştırması ise bir ya da iki adres gösteriyorsa rotasyon bağlantı başınadır ve HTTP kitaplığınızın bağlantı havuzu bunu gizlemektedir. Her iki çalıştırma da tekrar eden küçük bir adres kümesi gösteriyorsa planınız ya da hedeflemeniz için kullanılabilir havuz dardır. Bir miktar tekrar normaldir: etkin havuz 1.000 adresse (örnek bir rakam), 20 çekilişte en az bir tekrar olma olasılığı yaklaşık 1 − e^(−190/1000), yani kabaca yüzde 17’dir; çünkü 20 çekiliş 190 çift içerir. Rotasyonu tek bir örneğe göre değil, yüzlerce istek üzerindeki benzersiz adres oranına göre değerlendirin.
Rotasyonu iş yüküne uydurma
Rotasyon modunu alışkanlıkla değil, sunucunun istekleriniz arasında neyi hatırladığına göre seçin. Bir sunucu bir adrese ne kadar çok durum bağlarsa, o kadar az rotasyon yapmalısınız.
- Durumsuz herkese açık sayfalar (listeler, arama sonuçları, herkese açık JSON): istek başına taze bağlantı, oturum etiketi yok ve ara sıra aynı adresin gelmesine tolerans.
- Sunucu tarafında imleç kullanan sayfalı taramalar: tüm tarama boyunca tek bir sticky session; tarama bitince serbest bırakılır.
- Cookie’leri bir adrese bağlı giriş, sepet veya ödeme akışları: akışın tamamı için bir sticky session ya da hesabın günlerce aynı adreste kalması gerekiyorsa statik bir ISP veya mobil IP.
- WebSocket veya akış (streaming) gibi uzun ömürlü bağlantılar: sticky session artı yeniden bağlanma mantığı; çünkü bir akışın ortasında rotasyon olursa bağlantı kopar.
- Bir sayfayı birkaç ülkeden kontrol etme: bir oturumu yeniden kullanmak yerine her çalıştırma için farklı bir ülke hedefi isteyin ve her sonucun hangi ülkeden geldiğini kaydedin.
Ölçümlü havuzlar: rotasyonun maliyetini hesaplama
Rotasyon ile faturalandırma birbirini etkiler. Residential GB planları (5, 10, 50, 100, 200 ve 300 GB) 30 günlük kullanım süresine sahiptir, rotating mobil paketler (5, 10 ve 100 GB) tek seferlik satın alımdır ve sınırsız rotating mobil aylık faturalandırılır; sınırsız rotating residential ise günlük, haftalık ve aylık sürelerle sunulur. Ölçümlü (metered) her planda, attığınız küçük engel sayfaları dahil, her yeniden deneme veri harcar.
Örnek rakamlarla çalışılmış bir örnek: ortalama 250 KB’lık 100.000 sayfa çekimi 25 GB eder. Çekimlerin yüzde 15’i tam boyutlu bir yeniden deneme gerektirirse toplam yaklaşık 28,75 GB olur; yani 50 GB’lık plan işi karşılar, 10 GB’lık plan ise işin kabaca üçte birinde tükenir. İstek başına bayt yerine başarılı kayıt başına baytı izleyin ve başlıklarda, kaynak engellemede ya da yeniden deneme politikasında her değişiklikten sonra bu rakamı karşılaştırın.
Sık sorulan sorular
Neden art arda aynı IP adresini aldım?
Havuzlar yinelenen adresler döndürür ve yeniden kullanılan bir bağlantı çıkışını korur; ikisi de normaldir. Yukarıdaki betikle taze bağlantı çalıştırmasını oturum çalıştırmasıyla karşılaştırın ve benzersiz adres oranını yüzlerce istek üzerinden değerlendirin. Dar bir ülke veya şehir hedefi kullanılabilir havuzu küçültür ve bu da tekrarları sıklaştırır.
Gateway’e paralel bağlantı sayısında bir sınır var mı?
Her plan için eşzamanlılık sınırları bu sitede yayımlanmamıştır; bu yüzden büyük bir işi boyutlandırmadan önce WhatsApp’tan satış ekibine sorun. Pratikte eşzamanlılığı kademeli olarak artırın ve her kademede hata kodlarını ve zaman aşımlarını izleyin; proxy checker auth, refused ve timeout gibi kodları raporlar. Hatalar verimden hızlı büyümeye başladığında eşzamanlılığı artırmayı bırakın.
Statik liste ne zaman rotating gateway’den daha iyidir?
Günlerce atfedilebilir kalan bir adrese ihtiyaç duyduğunuzda, bilinen bir IP’den bir sonucu yeniden üretmek istediğinizde ya da maliyet modeliniz GB başına değil adres başına olduğunda statik liste seçin. Birçok site veya konuma yayılmış, yüksek hacimli, durumsuz işler için rotating gateway seçin. Birçok proje ikisini birlikte kullanır: hesaplar için statik IP’ler, herkese açık veriler için rotating havuz.