Scraper scheitern aus vorhersehbaren Gründen: zu viele Anfragen von einer Adresse, Adressen, die automatisiert wirken, und Sitzungen, die auf halbem Weg abbrechen. Der passende Proxy-Typ löst die ersten beiden Probleme; ein gutes Scraper-Design das dritte.
Websites begrenzen, wie viele Anfragen eine Adresse senden darf. Wer den Traffic auf eine einzige IP konzentriert, wird binnen Minuten gedrosselt oder blockiert.
Bewertung der IP-Reputation
Websites mit Schutzmaßnahmen stufen Adressen als Datacenter, Residential oder Mobile ein und behandeln sie schon ab der ersten Anfrage unterschiedlich.
Standortabhängige Inhalte
Preise, Verfügbarkeit und Ergebnisse ändern sich je nach Land des Besuchers, sodass ein Scraper mit nur einem Standort nur eine Version des Webs sieht.
Der Ansatz
Wie die passenden Proxys helfen
01
IP-Typ auf das Ziel abstimmen
Nutzen Sie Datacenter-IPs für tolerante Websites und APIs, rotierende Residential-IPs für geschützte Verbraucherseiten und ISP-IPs, wo eine stabile Identität zählt.
02
Gezielt rotieren oder festhalten
Rotieren Sie pro Anfrage bei zustandslosem Abrufen; nutzen Sie Sticky-Sitzungen, wenn ein Login, ein Warenkorb oder ein Ablauf über mehrere Seiten dieselbe Adresse behalten muss.
03
Das richtige Land ansteuern
Residential-Tarife führen Targeting auf Länderebene auf, sodass Sie die Version der Seite erheben, die Ihre Zielgruppe sieht.
Empfohlen
Passende Produkte
Sortiert danach, wie oft sie zu dieser Aufgabe passen. Öffnen Sie ein Produkt für Spezifikationen, Limits und Live-Tarife.
Einen Scraper dimensionieren: IP-Budget und Bandbreitenbudget
Jeder Scraping-Job hat zwei voneinander unabhängige Grenzen. Das IP-Budget ist die Zahl der Anfragen pro Minute, die eine Adresse senden darf, bevor das Ziel sie drosselt; diese Zahl müssen Sie messen, für eine Beispielseite gehen Sie aber von 4 aus. Das Bandbreitenbudget ist die Menge an Bytes, die Sie bewegen, und spielt nur bei Tarifen mit Volumenabrechnung eine Rolle. Nehmen Sie zur Veranschaulichung eine Last von 24,000 Seiten pro Tag, also etwa 17 Anfragen pro Minute. Bei 4 Anfragen pro Minute und IP braucht das rund fünf Adressen, sodass selbst das kleinste Paket des IPv4-Datacenter-Proxys, 30 IPs für 250 TRY im Monat, jede Adresse nur mit etwa 0.6 Anfragen pro Minute auslastet.
Bei Residential-Abrechnung kehrt sich die Rechnung um, weil Sie für Gigabyte statt für Adressen zahlen. Dieselben 24,000 Seiten mit beispielhaften 150 KB pro Seite ergeben 3.6 GB pro Tag oder 108 GB in einem Zeitraum von 30 Tagen. Das überschreitet den Tarif mit 100 GB (3,500 TRY) um 8 Prozent und würde Sie in den Tarif mit 200 GB (7,000 TRY) drängen; Bilder, Schriftarten und Tracker wegzulassen lohnt sich daher mehr, als es scheint. Passt der Verbrauch in 100 GB, liegen die Kosten bei etwa 0.005 TRY pro Seite, gegenüber rund 0.0003 TRY beim Datacenter-Paket mit 30 IPs.
Sehr große, gleichmäßige Aufträge kehren die Logik erneut um. Die unbegrenzten rotierenden Residential-Tarife tauschen einen Festpreis gegen unbegrenzten Traffic: Der Monatstarif kostet 75,000 TRY, was beim Satz des 300-GB-Tarifs von 30 TRY pro GB 2,500 GB entspricht, also etwa 83 GB pro Tag. Unterhalb dieses Volumens sind die GB-Tarife günstiger, darüber gewinnt Unlimited zumindest auf dem Papier. Bedingungen für die unbegrenzte Nutzung, etwa Fair-Use-Grenzen oder Limits für parallele Verbindungen, sind auf dieser Website nicht veröffentlicht; fragen Sie daher den Vertrieb per WhatsApp, bevor Sie eine Pipeline auf diese Annahme aufbauen.
Inhalte aus dem Mobilfunknetz oder Ziele, die Netzbetreiber-IPs vertrauen
Adressvertrauen und Kontingent
Rotating-Mobile-Pakete (5, 10, 100 GB) oder Unlimited monatlich
Eigener Login hinter einer stabilen Identität
Sitzungskontinuität
ISP-Proxy (statische türkische IPs)
02
Sitzungs-, Retry- und Backoff-Design
Entscheiden Sie über die Rotation nach der Zustandseinheit, nicht nach Gewohnheit. Ein zustandsloser Abruf, etwa einer Produktseite oder eines Suchergebnisses, kann jedes Mal von einer anderen IP ausgehen. Ein Ablauf mit Zustand, etwa ein Login, ein an eine Sitzung gebundenes Paginierungs-Token oder ein Warenkorb, muss auf einer Adresse bleiben; fordern Sie daher in einem Residential-Proxy-Tarif eine Sticky-Sitzung an oder nutzen Sie eine statische ISP-Proxy-IP. Führen Sie pro Exit-IP ein eigenes Cookie-Jar, denn das Wiedergeben der Cookies einer Adresse von einer anderen aus ist ein häufiger Grund für ungültig gewordene Sitzungen. Bei Datacenter-Paketen übernehmen Sie die Rotation selbst, etwa als Round-Robin mit einem Cooldown pro IP.
Behandeln Sie Fehler nach Klassen. Verbindungsfehler, Zeitüberschreitungen und eine 407-Antwort (Proxy-Authentifizierung erforderlich) deuten auf den Proxy-Pfad oder Ihre Zugangsdaten hin, nicht auf eine Sperre. Ein 403, ein 429 oder eine 200-Seite mit einer Challenge deutet auf das Ziel hin. Beachten Sie bei 429 einen vorhandenen Retry-After-Header; andernfalls gehen Sie mit exponentiellem Backoff und zufälligem Jitter vor, zum Beispiel nach etwa 2, 4, 8 und 16 Sekunden, und wiederholen Sie die Anfrage von einer anderen IP, statt auf dieselbe einzuhämmern. Begrenzen Sie Wiederholungen auf drei oder vier pro URL, damit eine dauerhafte Sperre nicht ein GB-Kontingent aufzehrt.
Ein Proxy ändert nur den Netzwerkpfad. Der TLS-Handshake, die Header-Reihenfolge und die Protokollversion Ihres HTTP-Clients erreichen das Ziel durch einen CONNECT-Tunnel unverändert; ein Client, der wie ein Skript aussieht, sieht daher auch mit einer Residential-IP wie ein Skript aus. Halten Sie die Header stimmig, mit einem echten Browser-User-Agent und passendem Accept-Language, nutzen Sie Verbindungen per Keep-alive wieder, um nicht für jede Anfrage einen neuen Handshake auszuführen, und setzen Sie einen Headless-Browser nur dort ein, wo Seiten wirklich JavaScript brauchen, denn ein vollständiges Rendering kostet meist ein Vielfaches der Bytes des reinen HTML.
Ein Statuscode 200 ist kein Erfolgsnachweis. Zählen Sie eine Antwort erst dann, wenn sie die erwarteten Felder enthält.
03
Den Proxy-Bestand überwachen und die Funktion belegen
Prüfen Sie jeden Endpunkt vor dem ersten Produktivlauf. Der kostenlose Proxy-Checker nimmt bis zu 10 Proxys pro Anfrage entgegen, erkennt HTTP oder SOCKS5 automatisch und meldet Exit-IP, Latenz und einen Fehlercode, sodass Sie einen Stapel in einem Durchgang prüfen können. Die Codes trennen die Ursachen sauber: auth bedeutet falsche Zugangsdaten, refused oder timeout bedeutet, dass Endpunkt oder Port nicht erreichbar sind, und connect_denied oder tls verweist auf den Tunnel selbst. Öffnen Sie anschließend den IP-Adress-Checker in einem Browser, der den Proxy nutzt, um die Adresse zu bestätigen, die das Ziel sehen wird, und wiederholen Sie das an einem rotierenden Endpunkt, um zu bestätigen, dass sich die Adresse ändert.
Protokollieren Sie im Produktivbetrieb eine Zeile pro Anfrage: Zieldomain, IP-Typ, Exit-IP oder deren Hash, Statuscode, Bytes, Latenz, Anzahl der Wiederholungen und ein Flag für gültigen Inhalt. Aus dieser Tabelle berechnen Sie die Blockrate pro Domain und pro IP-Typ und entfernen fehlerhafte Adressen aus Ihrer Liste, zum Beispiel solche mit weniger als 80 Prozent gültigen Antworten bei mindestens 100 Anfragen – einen Schwellenwert, den Sie auf Ihr Ziel abstimmen sollten. Alarmieren Sie bei Trends statt bei einzelnen Fehlern: Eine Blockrate, die sich innerhalb einer Stunde verdoppelt, deutet meist auf eine Regeländerung beim Ziel hin, nicht auf einen Netzwerkfehler.
Rotation verteilt Last; sie ist keine Erlaubnis. Wenn eine Website Sie bittet aufzuhören oder einen offiziellen Feed anbietet, nutzen Sie ihn.
Leitfaden
Ein praxisnaher Umsetzungsplan
Vier Schritte vom ersten Test bis zum stabilen, überwachten Betrieb.
01
Zuerst nach einer erlaubten Quelle suchen
Prüfen Sie, ob es eine offizielle API, einen Feed oder einen Massenexport gibt, und lesen Sie robots.txt sowie die Nutzungsbedingungen, bevor Sie etwas bauen. Die Felder, die Sie tatsächlich brauchen, bestimmen oft das gesamte Design.
02
Pro IP-Typ einen Pilotlauf fahren
Rufen Sie 500 bis 1,000 repräsentative URLs mit dem günstigsten infrage kommenden Typ ab und erfassen Sie Rate gültiger Inhalte, Bytes pro Seite und Latenz. Wechseln Sie zum nächsten Typ nur, wenn die Ergebnisse Ihren Schwellenwert verfehlen.
03
Limits pro Domain festlegen
Definieren Sie maximale Parallelität, Anfragen pro Minute und einen Cooldown pro IP, mit zufällig variierten Pausen und exponentiellem Backoff bei 429- und 5xx-Antworten.
04
In Schritten skalieren und wöchentlich prüfen
Verdoppeln Sie das Volumen nur, solange die Blockrate unter Ihrem Schwellenwert bleibt, und vergleichen Sie jede Woche die Kosten pro tausend gültige Seiten, damit ein Tarifwechsel eine datenbasierte Entscheidung ist.
Durchgerechnete Szenarien
So sieht das in der Praxis aus
Beispiele zur Veranschaulichung – die Zahlen sind Annahmen zur Erläuterung der Logik, keine Messergebnisse.
01
Crawl eines öffentlichen Verzeichnisses
Ein Forschungsteam crawlt innerhalb einer Woche 300,000 öffentliche Verzeichnisseiten, etwa 1,800 pro Stunde. Es verteilt die Arbeit auf die 100 IPs eines IPv4-Datacenter-Proxy-Pakets (400 TRY im Monat), also etwa 18 Anfragen pro Stunde und IP, rotiert im Round-Robin mit Cooldown. Die Rate ist beispielhaft: Die tatsächliche Toleranz der Website muss in einem Pilotlauf gemessen werden.
02
Geschützte Kategorieseiten eines Händlers
Ein Pilotlauf gegen einen Händler, der Datacenter-Bereiche abweist, liefert bei 40 Prozent der Anfragen von Datacenter-IPs und bei 95 Prozent von Residential-IPs gültige Seiten (beispielhafte Zahlen). Bei etwa 200 KB pro Seite deckt ein Residential-Proxy-Tarif mit 50 GB (2,500 TRY) rund 250,000 Seiten ab, also 0.01 TRY pro Seite. Das Team nutzt Residential nur für diesen Händler und behält Datacenter-IPs für den Rest.
03
Authentifizierter Export aus einem Partnerportal
Ein Finanzteam lädt täglich Berichte aus einem Partnerportal herunter, für das es Zugangsdaten besitzt und dessen Bedingungen einen automatisierten Export erlauben. Weil das Portal Sitzungen an eine Adresse bindet, ist der Job an eine statische IP aus dem ISP-Proxy-Tarif mit 3 IPs (180 TRY im Monat) mit einem einzigen Cookie-Jar gebunden. Jede andere Adresse würde bei jedem Lauf eine erneute Anmeldeaufforderung riskieren.
Was Sie messen sollten
Erfassen Sie diese Werte ab dem ersten Tag, damit Probleme als Zahlen sichtbar werden statt als Überraschung.
Rate gültiger Inhalte pro Domain und IP-Typ, gezählt am Vorhandensein der erwarteten Felder statt an HTTP 200.
Blockrate, also der Anteil der Anfragen, die mit 403, 429 oder einer Challenge-Seite enden, erfasst pro IP-Typ und Stunde.
Kosten pro 1,000 gültige Seiten unter Einbeziehung von Tarifpreis, Wiederholungen und verschwendeten Bytes.
Bytes pro Seite im Durchschnitt und im 95. Perzentil, was die Dimensionierung des GB-Tarifs bestimmt.
Wiederholungsquote und Latenz im 95. Perzentil, denn steigende Werte signalisieren Drosselung, bevor harte Sperren auftreten.
Häufige Fehler
Muster, die Budget verschwenden oder zu Sperren führen.
HTTP 200 als Erfolg zu zählen, sodass Soft-Blocks und leere Templates unbemerkt den Datensatz verunreinigen.
IPs mitten in einem Ablauf zu wechseln, der Zustand braucht, was Tokens ungültig macht und eine erneute Anmeldung erzwingt.
Nach einem 429 sofort mit derselben IP zu wiederholen, was aus einem Rate-Limit eine Sperre macht.
In einem nach GB abgerechneten Tarif Bilder, Schriftarten und Tracker herunterzuladen, was die Kosten ohne Datenwert vervielfacht.
Nach Poolgröße statt nach gemessener Toleranz pro IP einzukaufen, sodass Kapazität entweder verschwendet wird oder zu knapp ist.
Praktische Tipps
Beachten Sie robots.txt und veröffentlichte Bedingungen; viele Websites bieten eine API.
Drosseln Sie pro Domain und fügen Sie Jitter hinzu, statt in Schüben zu senden.
Blockieren Sie Bilder und Medien, um bei GB-abgerechneten Tarifen Bandbreite zu sparen.
Protokollieren Sie HTTP-Statuscodes pro IP, damit Sie Sperren früh erkennen.
Proxys verantwortungsvoll nutzen
Erheben Sie nur Daten, auf die Sie zugreifen dürfen, beachten Sie Ratenlimits und Datenschutzrecht und nutzen Sie Proxys niemals, um einen Dienst anzugreifen, zu überlasten oder zu betrügen. Missbrauch kann Ihren Zugang beenden.
Das hängt vom Ziel ab. Datacenter für tolerante Websites, Rotating Residential für geschützte, ISP für stabile Sitzungen. Die Vergleichstabelle auf der Startseite fasst die Abwägungen zusammen.
Wie viele Proxys brauche ich?
Teilen Sie die benötigten Anfragen pro Minute durch die für das Ziel sichere Rate pro IP. Beginnen Sie klein, messen Sie die Blockrate und skalieren Sie dann.
Ist Scraping legal?
Das hängt von den Daten, den Bedingungen der Website und Ihrer Rechtsordnung ab. Holen Sie bei kommerziellen Projekten Rechtsrat ein; Proxys ändern nichts an der Rechtmäßigkeit.
Muss ich bei Datacenter-Paketen die Rotation selbst bauen?
Ja. Die IPv4-Datacenter-Proxy-Pakete liefern Ihnen eine Liste statischer Adressen mit Authentifizierung per Benutzername und Passwort, eine automatische Rotation gibt es nicht. Rotieren Sie in Ihrem eigenen Code, zum Beispiel per Round-Robin mit Cooldown pro IP. Rotierende Residential-Endpunkte wechseln die Exit-Adresse für Sie.
Sollte ich für einen Scraper HTTP oder SOCKS5 nutzen?
Die meisten Scraping-Bibliotheken sprechen HTTP-Proxys nativ, und HTTPS-Seiten laufen als CONNECT-Tunnel hindurch. SOCKS5 hilft bei Nicht-HTTP-Traffic oder bei Tools, die nur SOCKS5 unterstützen. Bei Datacenter- und Residential-Tarifen richtet sich die Protokollunterstützung nach den Angaben des Anbieters, und beim Checkout gibt es keine Auswahl; klären Sie Ihr Protokoll daher per WhatsApp mit dem Vertrieb, bevor Sie darauf aufbauen.
Wie scrape ich JavaScript-lastige Seiten, ohne einen GB-Tarif aufzubrauchen?
Suchen Sie zuerst nach strukturierten Daten, die in die Seite eingebettet sind, oder nach dem JSON-Endpunkt, den die Seite selbst öffentlich aufruft; beides ist viel leichter als ein vollständiges Rendering. Brauchen Sie einen Headless-Browser, blockieren Sie Bilder, Schriftarten und Medien und cachen Sie statische Assets zwischen den Läufen. Messen Sie die Bytes pro Seite an einer kleinen Stichprobe, bevor Sie eine Tarifgröße wählen.
Enterprise
Sie brauchen Volumen, individuelle Standorte oder ein beschaffungsfreundliches Setup?
Sprechen Sie mit dem Vertrieb über große IP-Mengen, lange Laufzeiten und individuelles Onboarding. Nennen Sie uns Zielländer und Traffic-Profil, dann schlagen wir eine passende Lösung vor.