So funktionieren Rotating-Proxys
Ein Rotating-Proxy gibt Ihnen eine frische IP, ohne dass Sie Listen verwalten. Was hinter dem Gateway passiert und wie Sie es gut nutzen.
Bei einem statischen Proxy erhalten Sie eine IP-Liste und entscheiden selbst, wann Sie welche verwenden. Ein Rotating-Proxy verlagert diese Entscheidung zum Anbieter: Ihr Client verbindet sich mit einer Gateway-Adresse, und der Anbieter wählt die Exit-IP aus einem großen Pool.
Rotationsmodi
- Pro Anfrage: Jede Verbindung geht von einer anderen Adresse aus – am besten für zustandsloses Abrufen.
- Sticky-Session: Dieselbe Adresse bleibt für einen Zeitraum oder eine Session-ID erhalten – am besten für Logins und mehrstufige Abläufe.
- Auf Abruf: Sie lösen den Wechsel selbst aus, zum Beispiel über einen IP-Wechsel-Link bei einem Mobile-Proxy.
Woher der Pool stammt
Residential-Pools nutzen Privatanschlüsse, Mobile-Pools nutzen SIM-Karten in Mobilfunknetzen. Poolgröße, geografische Streuung und Qualität bestimmen, wie oft Sie eine Adresse erhalten, die ein Ziel noch nicht markiert hat.
Was schiefgehen kann
- Session-Abbrüche: Ein Cookie, das für eine IP ausgestellt wurde, kann abgelehnt werden, wenn die nächste Anfrage von einer anderen kommt. Nutzen Sie für zustandsbehaftete Abläufe Sticky-Sessions.
- Inkonsistente Fingerprints: Wer die IP wechselt, aber denselben Browser-Fingerprint behält, kann auf manchen Websites auffällig wirken.
- Unklare Zeitangaben: Anbieter beschreiben Rotationsintervalle unterschiedlich; prüfen Sie das tatsächliche Verhalten mit einem IP-Echo-Endpunkt, bevor Sie darauf aufbauen.
Rotation selbst testen
Senden Sie zehn Anfragen über das Gateway an einen IP-Echo-Dienst und notieren Sie die Adressen. Zählen Sie die eindeutigen IPs und beobachten Sie, wie oft sie wechseln. Der Proxy-Checker und der IP-Adress-Checker auf dieser Website eignen sich für diese Art von Test.
Proxy-ToolsIP-Adress-CheckerSehen Sie die öffentliche IP-Adresse, die der Server für Ihre Verbindung sieht, ob es IPv4 oder IPv6 ist und welche Proxy-bezogenen Header Ihre Anfrage trägt.EntdeckenMobile oder Residential: die passende Rotation wählen
Mobile-Pools bieten das höchste Vertrauen, sind aber langsamer und werden nach Volumen abgerechnet. Residential-Pools sind breiter und mit zeitbasierten Tarifen für unbegrenzten Traffic erhältlich. Wählen Sie den Pool, dessen Abwägung zu Ihrer Aufgabe passt.
Im Gateway: Was mit einer einzelnen Anfrage passiert
Die meisten Rotating-Tarife basieren auf einem Backconnect-Gateway: einem einzigen Hostnamen samt Port, den Sie einmal konfigurieren und der einem großen Pool von Exit-Nodes vorgeschaltet ist. Ihr Client authentifiziert sich am Gateway, das Gateway wählt anhand der Session-Einstellungen, die an Ihre Zugangsdaten gebunden sind, einen Exit-Node aus und leitet Ihre Verbindung zum Ziel weiter. Die Website sieht nur die Adresse des Exit-Nodes. Weil sich die Adresse, die Sie ansprechen, nie ändert, brauchen Sie in Ihrem Code keine IP-Liste; die Rotation findet jedoch nun auf der Seite des Anbieters statt, und als einziger Beleg bleibt Ihnen, was das Ziel zurückmeldet.
In der Praxis sind zwei Folgen wichtig. Erstens wird der Exit bei den meisten Gateway-Designs beim Öffnen einer neuen Verbindung gewählt, nicht für jedes einzelne Byte. Eine HTTPS-Anfrage über einen HTTP-Proxy ist ein einziger CONNECT-Tunnel; deshalb geht jede Anfrage, die Ihr Client durch diesen Tunnel schickt – auch Folgeanfragen an denselben Host über eine Keep-Alive-Verbindung –, von derselben Exit-IP aus, selbst bei einem „rotierenden“ Tarif. Zweitens ändert ein Retry, der die Verbindung wiederverwendet, die Adresse nicht; „Retry mit neuer IP“ muss also „Retry mit neuer Verbindung“ bedeuten.
Sticky-Sessions: Labels, Laufzeiten und stille Wechsel
Eine Sticky-Session ist in der Regel eine Zuordnung von einem Session-Label zu einem Exit-Node für eine begrenzte Lebensdauer. Wie das Label übergeben wird (im Benutzernamen, über einen eigenen Port oder per Einstellung im Panel), unterscheidet sich von Dienst zu Dienst – übernehmen Sie daher nie ein Format von einem anderen Anbieter. Bei BuyProxy führen die Residential-Tarife sowohl Rotating- als auch Sticky-Sessions auf, aber das genaue Label-Format und die maximale Sticky-Dauer sind auf dieser Website nicht veröffentlicht; fragen Sie den Vertrieb per WhatsApp, bevor Sie einen Workflow darauf aufbauen.
Betrachten Sie jede Sticky-Dauer als Obergrenze, niemals als Zusage. In einem Residential-Pool ist der Exit ein Haushaltsanschluss, der jederzeit offline gehen kann, und ein Mobile-Exit kann wechseln, wenn sich die SIM neu verbindet. Dann weist das Gateway einen anderen Node zu, und Ihre Session läuft von einer anderen Adresse aus weiter. Konzipieren Sie den Client so, dass ein unerwarteter Adresswechsel verkraftbar ist:
- Halten Sie den Workflow-Zustand (Cookies, Tokens, Pagination-Cursor) in Ihrem eigenen Speicher, pro Aufgabe abgelegt, statt darauf zu vertrauen, dass die IP gleich bleibt.
- Rufen Sie die Exit-IP einmal zu Beginn eines mehrstufigen Ablaufs ab und erneut, sobald eine Login-Abfrage oder ein Session-Fehler auftritt, damit Sie einen Node-Wechsel von einer echten Ablehnung unterscheiden können.
- Gestalten Sie Abläufe so, dass sie ab dem letzten sicheren Schritt neu gestartet werden können statt von vorn.
- Geben Sie jedem parallelen Worker ein eigenes Session-Label; teilen sich mehrere Worker ein Label, läuft ihr Traffic verschränkt über einen Exit und sprengt jedes Ratenbudget pro IP.
Rotationsverhalten per Skript messen
Der Zehn-Anfragen-Test im obigen Artikel zeigt Ihnen, ob sich Adressen ändern. Das folgende Skript zeigt zusätzlich, warum sie sich manchmal nicht ändern, indem es neue Verbindungen mit einer wiederverwendeten vergleicht. Führen Sie es mit Ihren eigenen Zugangsdaten gegen das Gateway aus; es ruft einen IP-Echo-Endpunkt auf, sodass jede Antwort die Exit-Adresse ist, die auch die Website sehen würde.
import collections
import requests
GATEWAY = "http://USER:PASS@GATEWAY_HOST:PORT"
PROXIES = {"http": GATEWAY, "https": GATEWAY}
ECHO = "https://api.ipify.org"
def sample(n, reuse):
seen = []
session = requests.Session() if reuse else None
for _ in range(n):
get = session.get if reuse else requests.get
seen.append(get(ECHO, proxies=PROXIES, timeout=20).text.strip())
return seen
for reuse in (False, True):
ips = sample(20, reuse)
print("reused connection:", reuse, "| unique:", len(set(ips)), "of", len(ips))
print(collections.Counter(ips).most_common(3))Lesen Sie die beiden Ergebniszeilen zusammen. Zeigt der Lauf mit neuen Verbindungen überwiegend eindeutige Adressen und der Session-Lauf nur eine oder zwei, erfolgt die Rotation pro Verbindung, und das Connection-Pooling Ihrer HTTP-Bibliothek verdeckt sie. Zeigen beide Läufe eine kleine Menge wiederkehrender Adressen, ist der für Ihren Tarif oder Ihr Targeting verfügbare Pool schmal. Ein gewisses Maß an Wiederholung ist normal: Bei einem effektiven Pool von 1.000 Adressen (ein Beispielwert) liegt die Wahrscheinlichkeit für mindestens eine Wiederholung in 20 Ziehungen bei etwa 1 − e^(−190/1000), also rund 17 Prozent, weil 20 Ziehungen 190 Paare enthalten. Beurteilen Sie die Rotation anhand des Anteils eindeutiger Adressen über Hunderte von Anfragen, nicht anhand einer einzelnen Stichprobe.
Rotation auf den Workload abstimmen
Wählen Sie den Rotationsmodus danach, was sich der Server zwischen Ihren Anfragen merkt, nicht aus Gewohnheit. Je mehr Zustand ein Server an eine Adresse bindet, desto weniger sollten Sie rotieren.
- Zustandslose öffentliche Seiten (Listings, Suchergebnisse, öffentliches JSON): eine neue Verbindung pro Anfrage, kein Session-Label und Toleranz für gelegentlich doppelte Adressen.
- Paginierte Crawls mit serverseitigem Cursor: eine Sticky-Session für den gesamten Durchlauf, die am Ende des Durchlaufs freigegeben wird.
- Login-, Warenkorb- oder Checkout-Abläufe, deren Cookies an eine Adresse gebunden sind: eine Sticky-Session für den gesamten Ablauf oder eine statische ISP- bzw. Mobile-IP, wenn das Konto tagelang dieselbe Adresse behalten muss.
- Langlebige Verbindungen wie WebSockets oder Streaming: eine Sticky-Session plus Reconnect-Logik, denn eine Rotation mitten im Stream unterbricht die Verbindung.
- Eine Seite aus mehreren Ländern prüfen: Fordern Sie für jeden Lauf ein anderes Länder-Targeting an, statt eine Session wiederzuverwenden, und halten Sie fest, aus welchem Land jedes Ergebnis stammt.
Volumenbasierte Pools: Was Rotation kostet
Rotation und Abrechnung hängen zusammen. Residential-GB-Tarife (5, 10, 50, 100, 200 und 300 GB) haben einen Nutzungszeitraum von 30 Tagen, Rotating-Mobile-Pakete mit 5, 10 und 100 GB sind Einmalkäufe, und unbegrenzte Rotating-Mobile-Tarife werden monatlich abgerechnet; unbegrenzte Rotating-Residential-Tarife gibt es mit täglichem, wöchentlichem und monatlichem Zeitraum. In jedem volumenbasierten Tarif verbraucht jeder Retry Daten, auch die kleinen Block-Seiten, die Sie verwerfen.
Ein durchgerechnetes Beispiel mit Beispielwerten: 100.000 Seitenabrufe mit durchschnittlich je 250 KB ergeben 25 GB. Benötigen 15 Prozent der Abrufe einen vollwertigen Retry, liegt die Summe bei etwa 28,75 GB; ein 50-GB-Tarif deckt den Lauf also ab, während ein 10-GB-Tarif etwa nach einem Drittel des Laufs erschöpft wäre. Verfolgen Sie die Bytes pro erfolgreichem Datensatz statt der Bytes pro Anfrage und vergleichen Sie diesen Wert nach jeder Änderung an Headern, Ressourcen-Blockierung oder Retry-Richtlinie.
Häufig gestellte Fragen
Warum habe ich zweimal hintereinander dieselbe IP-Adresse erhalten?
Pools liefern Duplikate, und eine wiederverwendete Verbindung behält ihren Exit – beides ist normal. Vergleichen Sie mit dem obigen Skript einen Lauf mit neuen Verbindungen und einen Session-Lauf und beurteilen Sie den Anteil eindeutiger Adressen über Hunderte von Anfragen. Ein enges Länder- oder Städte-Targeting verkleinert den nutzbaren Pool, wodurch Wiederholungen häufiger werden.
Gibt es ein Limit für parallele Verbindungen zum Gateway?
Die Parallelitätslimits der einzelnen Tarife sind auf dieser Website nicht veröffentlicht; fragen Sie daher den Vertrieb per WhatsApp, bevor Sie einen großen Job dimensionieren. In der Praxis erhöhen Sie die Parallelität schrittweise und beobachten bei jedem Schritt Fehlercodes und Timeouts; der Proxy-Checker meldet Codes wie auth, refused und timeout. Hören Sie auf, die Parallelität zu erhöhen, sobald die Fehler schneller wachsen als der Durchsatz.
Wann ist eine statische Liste besser als ein Rotating-Gateway?
Wählen Sie eine statische Liste, wenn Sie eine Adresse brauchen, die über Tage zuordenbar bleibt, wenn Sie ein Ergebnis von einer bekannten IP aus reproduzieren möchten oder wenn Ihr Kostenmodell pro Adresse statt pro GB funktioniert. Wählen Sie ein Rotating-Gateway für volumenstarke, zustandslose Jobs, die sich über viele Websites oder Standorte verteilen. Viele Projekte nutzen beides: statische IPs für Konten und einen Rotating-Pool für öffentliche Daten.