Web Scraping mit Proxys: Ein verantwortungsvoller Leitfaden
Proxys lösen IP-Limits, nicht schlechtes Scraper-Design. So kombinieren Sie beides verantwortungsvoll.
Scraping stößt in jeder Größenordnung auf dieselben Probleme: Websites begrenzen, wie viele Anfragen eine Adresse stellen darf, und behandeln manche Adresstypen misstrauischer als andere. Proxys lösen beides – sind aber nur ein Teil eines guten Scrapers.
Beginnen Sie mit der Etikette
- Prüfen Sie zuerst, ob es eine offizielle API oder einen Datenexport gibt.
- Lesen Sie die robots.txt und die Bedingungen der Website.
- Geben Sie Ihren Scraper, wo erforderlich, ehrlich zu erkennen und halten Sie die Anfrageraten moderat.
- Vermeiden Sie die Erhebung personenbezogener Daten ohne Rechtsgrundlage.
Den richtigen IP-Typ wählen
Datacenter-IPs sind für tolerante Websites am günstigsten. Rotating-Residential-IPs helfen auf Websites, die Hosting-Bereiche filtern. Statische ISP-IPs eignen sich für authentifizierte Abläufe. Details finden Sie im Leitfaden Residential vs. Datacenter.
Auf Fehler vorbereitet sein
Rechnen Sie mit 429 (zu viele Anfragen), 403 und Timeouts. Wiederholen Sie mit exponentiellem Backoff, wechseln Sie bei wiederholten Blockaden zu einer anderen IP und protokollieren Sie den Statuscode pro IP, damit Muster sichtbar werden.
import random, time, requests
PROXIES = ["http://USER:PASS@HOST1:PORT", "http://USER:PASS@HOST2:PORT"]
def fetch(url, tries=4):
for i in range(tries):
proxy = random.choice(PROXIES)
try:
r = requests.get(url, proxies={"http": proxy, "https": proxy}, timeout=15)
if r.status_code == 200:
return r.text
if r.status_code in (403, 429):
time.sleep(2 ** i + random.random())
except requests.RequestException:
time.sleep(1 + random.random())
return NoneBandbreite kontrollieren
Blockieren Sie bei nach GB abgerechneten Tarifen Bilder, Schriftarten und Medien und rufen Sie wo möglich JSON-Endpunkte ab. Messen Sie eine Stichprobe, um Ihren Monatsverbrauch zu prognostizieren.
Regeln lesen, bevor Sie den Crawler schreiben
Beginnen Sie mit der robots.txt, aber wissen Sie, was sie ist. Das Robots Exclusion Protocol (RFC 9309) ist eine Datei, die im Stammverzeichnis jedes Origins ausgeliefert wird und Crawlern mitteilt, welche Pfade sie nicht abrufen sollen, gruppiert nach User-Agent, wobei die spezifischste passende Regel gewinnt. Liefert die Datei einen 4xx-Status, dürfen Crawler die Website so behandeln, als gäbe es keine Einschränkungen; liefert sie 5xx oder ist sie nicht erreichbar, sieht der Standard vor, bis zur Wiederherstellung alles als gesperrt anzusehen. Crawl-delay ist nicht Teil des Standards, und nicht jeder Crawler beachtet es, aber wenn eine Website einen Wert veröffentlicht, behandeln Sie ihn als Bitte, langsamer zu werden.
Die robots.txt ist eine Konvention für Crawler, keine Lizenz. Nutzungsbedingungen können den automatisierten Zugriff unabhängig vom Inhalt der Datei beschränken, und weitere Regeln können bestimmen, was Sie mit den Daten tun: das Urheberrecht an den Inhalten, in manchen Rechtsordnungen Datenbankrechte und Datenschutzrecht wie die DSGVO in der EU oder KVKK in der Türkei, wenn die Daten Personen identifizieren. Dies sind allgemeine Informationen, keine Rechtsberatung; lassen Sie ein kommerzielles Projekt von einer qualifizierten Person prüfen. Umgehen Sie niemals Authentifizierung, Paywalls oder Zugriffskontrollen und betrachten Sie ein CAPTCHA oder eine Zugriff-verweigert-Seite als Signal, langsamer zu werden oder aufzuhören, nicht als Hindernis, das Tooling überwinden soll.
Proxy-ToolsHTTP-Header-CheckerRufen Sie eine öffentliche URL ab und sehen Sie ihre Antwort-Header, die Weiterleitungskette und ob gängige Sicherheits-Header vorhanden sind.EntdeckenDen Rate-Limiter vor der Rotation bauen
Ein größerer Adresspool berechtigt Sie nicht zu mehr Last. Der Server trägt weiterhin jede Anfrage, und Limits können pro Konto, pro Session-Cookie, pro Netzblock oder pro Fingerprint gelten, nicht nur pro IP. Legen Sie das Budget pro Ziel-Host fest, nicht pro Proxy: eine Obergrenze für gleichzeitig laufende Anfragen (zwei bis fünf sind als Beispiel ein sinnvoller Start), eine Mindestverzögerung mit zufälligem Jitter zwischen den Anfragen und eine adaptive Regel, die die Rate bei einem 429 oder 503 halbiert und nach einer Reihe von Erfolgen in kleinen Schritten wieder erhöht, ganz ähnlich der Überlastkontrolle in TCP.
Höflichkeit kostet Zeit, die Sie einplanen sollten und die sich durch keine noch so große Zahl von IPs beseitigen lässt. 100.000 Seiten mit 2 Anfragen pro Sekunde abzurufen dauert 50.000 Sekunden, etwa 13,9 Stunden; mit 5 Anfragen pro Sekunde dauert es 20.000 Sekunden, etwa 5,6 Stunden. Ist das zu langsam, lautet die Antwort: engerer Umfang, inkrementelle Aktualisierungen oder eine Vereinbarung mit der Website – nicht mehr Adressen.
Retries, die helfen statt schaden
Backoff mit Jitter verhindert, dass viele Worker im Gleichschritt wiederholen. „Full Jitter“ wartet eine zufällige Zeit zwischen null und min(cap, base × 2^attempt) und verteilt die Retries damit über das gesamte Zeitfenster. Enthält eine 429- oder 503-Antwort einen Retry-After-Header, der entweder eine Sekundenzahl oder ein HTTP-Datum enthält, warten Sie mindestens so lange. Verwenden Sie getrennte Connect- und Read-Timeouts, begrenzen Sie sowohl die Versuche als auch die Gesamtzeit pro URL und legen Sie fest, was jeder Status bedeutet, bevor Sie die Schleife schreiben:
- Retry mit Backoff: Timeouts, Verbindungsabbrüche (Resets), 429, 502, 503 und 504. Sie sind meist vorübergehend oder eine Aufforderung, langsamer zu werden.
- Einmal mit neuer Verbindung oder Session wiederholen: Fehler, die nur einen Exit-Node zu betreffen scheinen, etwa wiederholte proxyseitige Verbindungsfehler.
- Nicht wiederholen: 404 und 410 bedeuten, dass die Seite weg ist; halten Sie sie fest. 401 und 403 sind Zugriffsentscheidungen, keine Störungen, und sie von vielen Adressen aus zu wiederholen ist ein schneller Weg, einen ganzen Bereich blockieren zu lassen.
- Behandeln Sie 407 als Ihr eigenes Konfigurationsproblem: Es ist der Proxy, der Zugangsdaten verlangt, nicht die Website, die Sie abweist.
Die folgende Funktion kombiniert diese Bausteine: eine robots.txt-Prüfung nach den oben genannten Statusregeln, Full-Jitter-Backoff, Retry-After-Behandlung und eine Status-Richtlinie. Sie ist eine Vorlage zum Anpassen, kein fertiger Crawler.
import random
import time
import urllib.robotparser
import requests
UA = "ExampleBot/1.0 (+https://example.com/bot-info)"
PROXY = "http://USER:PASS@HOST:PORT"
PROXIES = {"http": PROXY, "https": PROXY}
HEADERS = {"User-Agent": UA}
robots = urllib.robotparser.RobotFileParser()
resp = requests.get("https://example.org/robots.txt", headers=HEADERS, proxies=PROXIES, timeout=15)
if resp.status_code == 200:
robots.parse(resp.text.splitlines())
elif resp.status_code >= 500:
robots.disallow_all = True
else:
robots.allow_all = True
def backoff(attempt, base=1.0, cap=60.0):
return random.uniform(0, min(cap, base * 2 ** attempt))
def polite_get(url, tries=5):
if not robots.can_fetch(UA, url):
return None
for attempt in range(tries):
try:
r = requests.get(url, headers=HEADERS, proxies=PROXIES, timeout=(5, 20))
except requests.RequestException:
time.sleep(backoff(attempt))
continue
if r.status_code == 200:
return r.text
if r.status_code in (429, 503):
wait = r.headers.get("Retry-After", "")
time.sleep(min(float(wait), 300) if wait.isdigit() else backoff(attempt))
elif r.status_code in (500, 502, 504):
time.sleep(backoff(attempt))
else:
return None
return NoneJeden Proxy als Komponente mit Health-Score behandeln
Bei einem langen Lauf fallen einzelne Exits aus: Ein Node wird ratenbegrenzt, ein Gateway startet neu, Zugangsdaten laufen ab. Führen Sie Zähler pro Proxy oder pro Session (Erfolge, 429er, 403er, Timeouts, Bytes) und trennen Sie Proxy-Fehler von Zielfehlern. „Connection refused“, Proxy-Timeouts, 407 und vom Gateway erzeugte 502er deuten auf den Proxy; 403 und 429 von der Website deuten auf das Ziel und auf Ihr Verhalten. Die Fehlercodes des Proxy-Checkers (auth, refused, timeout, not_http_proxy, tls und weitere) folgen derselben Trennung, sodass Sie einen verdächtigen Proxy unabhängig von Ihrem Crawler überprüfen können.
Bauen Sie einen Circuit Breaker ein. Nehmen Sie einen Proxy nach einer festgelegten Zahl aufeinanderfolgender Fehler, zum Beispiel fünf (Beispielwert), für eine Abkühlphase von etwa zehn Minuten aus der Rotation und testen Sie ihn dann mit einer einzelnen Anfrage, bevor Sie ihn wieder einsetzen. Einen Proxy bei seinem ersten Fehler dauerhaft zu verwerfen verschwendet bezahlte Kapazität, während das Bombardieren eines fehlerhaften Proxys in volumenbasierten Tarifen Bandbreite verbrennt.
Den Crawl fortsetzbar und günstiger machen
- Speichern Sie eine Warteschlange dauerhaft mit Status, Versuchszahl und letztem Fehler jeder URL, damit ein Absturz oder ein Deployment fortgesetzt wird, statt erneut abzurufen.
- Normalisieren und deduplizieren Sie URLs (Tracking-Parameter, Reihenfolge des Query-Strings, abschließende Schrägstriche), bevor sie in die Warteschlange gelangen.
- Nutzen Sie bedingte Anfragen: Speichern Sie den ETag- oder Last-Modified-Wert und senden Sie beim nächsten Mal If-None-Match oder If-Modified-Since. Eine 304-Antwort hat keinen Body, was bei nach GB abgerechneten Tarifen Daten und auf der Website Last spart.
- Akzeptieren Sie Kompression; die meisten HTTP-Clients verarbeiten gzip transparent, und es verkleinert HTML und JSON in der Regel erheblich.
- Speichern Sie Rohantworten vor dem Parsen, damit ein Parser-Fehler bedeutet, Dateien neu zu verarbeiten, statt erneut Anfragen auszugeben.
- Validieren Sie den Inhalt, nicht nur den Status: Ein 200 mit einer Block-Seite oder einem Login-Formular ist ein Fehlschlag; verlangen Sie daher ein erwartetes Element, bevor Sie eine Seite als Erfolg zählen.
Jede Session in sich konsistent halten
Wenn Sie Sticky-Sessions verwenden, geben Sie jeder Session ein eigenes Cookie-Jar und halten Sie ihre Header über ihre Lebensdauer stabil: derselbe User-Agent, dasselbe Accept-Language und so weiter. Ein Cookie, das für eine Adresse ausgestellt und von einer anderen vorgelegt wird, oder ein Header-Satz, der sich zwischen aufeinanderfolgenden Anfragen von derselben Adresse ändert, ist für eine Website ein Anlass, Sie per Challenge zu prüfen. Der User-Agent-Checker auf dieser Website zeigt, was ein Browser preisgibt, einschließlich Client Hints, Sprache und Zeitzone, und hilft Ihnen so zu erkennen, was die Header Ihres eigenen Clients über ihn aussagen. Konsistenz bedeutet, zufällige Widersprüche in Ihrem eigenen Client zu vermeiden; sie bedeutet nicht, die Software anderer nachzuahmen, wo die Regeln einer Website es verbieten.
Was Sie im Produktivbetrieb überwachen sollten
- Erfolgsquote pro Ziel und pro Proxy oder Session, mit angewendeter Inhaltsvalidierung.
- Latenz-Perzentile (Median und 95. Perzentil), denn Durchschnittswerte verbergen den langsamen Schwanz, der Worker ausbremst.
- Bytes pro erfolgreichem Datensatz und Kosten pro 1.000 Datensätze, wodurch die Proxy-Abrechnung zu Stückkosten wird, die Sie über IP-Typen hinweg vergleichen können.
- Der Anteil der 429- und 403-Antworten im Zeitverlauf; ein steigender Trend bedeutet, dass Ihre Rate oder Ihr Muster Aufmerksamkeit braucht, bevor die Blockaden kommen.
- Datenaktualität: wann jede Seite zuletzt erfolgreich abgerufen wurde, verglichen damit, wie oft sie aktualisiert werden muss.
Häufig gestellte Fragen
Warum erhalte ich auch mit einer neuen IP weiterhin 403-Antworten?
Die Adresse ist nur ein Signal. Websites berücksichtigen auch Header, die Merkmale Ihres HTTP-Clients, Cookies, Anfragerate und -muster sowie die Frage, ob für den Inhalt ein Konto nötig ist. Ein 403, das sich über viele verschiedene IPs wiederholt, bedeutet meist, dass die Ursache nicht die Adresse ist; weiteres Rotieren hilft dann nicht. Werden Sie langsamer, lesen Sie die Bedingungen der Website erneut und prüfen Sie, ob es eine offizielle API gibt.
Welche Anfragerate ist sicher?
Eine allgemeingültige Zahl gibt es nicht. Beginnen Sie niedrig, zum Beispiel – als Beispielwert – mit einer Anfrage pro Sekunde und Host, beobachten Sie den Anteil der 429-Antworten und den Latenztrend und erhöhen Sie die Rate in kleinen Schritten. Veröffentlicht die Website ein Rate-Limit, ein API-Kontingent oder ein Crawl-delay in der robots.txt, gilt dieser Wert als Ihre Obergrenze.
Darf ich Daten scrapen, die hinter einem Login liegen?
Nur mit ausdrücklicher Erlaubnis oder für Daten, auf die Sie Zugriff haben dürfen, und im Rahmen der Bedingungen der Website. Viele Bedingungen untersagen den automatisierten Zugriff auf Konten, und Seiten hinter dem Login enthalten oft personenbezogene Daten, die das Datenschutzrecht erfasst. Bevorzugen Sie eine offizielle API oder einen Export; müssen Sie Ihr eigenes Konto automatisieren, verwenden Sie eine statische IP, damit das Konto nicht gleichzeitig von vielen Orten aus gesehen wird.