Lösungen

Proxys für die Datenerhebung

Forschung, Analytics und Machine-Learning-Pipelines hängen von großen Mengen öffentlicher Daten ab. Proxys machen die Erhebung planbar, indem sie Engpässe pro IP beseitigen und die regionalen Perspektiven liefern, die Ihr Datensatz braucht.

Datenerhebung
IPv4-Datacenter-ProxyAb 250 TRY / Monat

Die Herausforderung

Was diese Aufgabe schwierig macht

  • Durchsatz-Engpässe

    Eine einzelne IP begrenzt die Seiten pro Minute, die eine Pipeline aus einer Quelle ziehen kann.

  • Vielfalt der Quellen

    Manche Quellen begrüßen Automatisierung, andere filtern Datacenter-Adressen aggressiv.

  • Abdeckung und Verzerrung

    Die Erhebung von nur einem Standort liefert einen verzerrten Datensatz, wenn Inhalte je nach Region variieren.

Der Ansatz

Wie die passenden Proxys helfen

  1. IPs in Stufen einsetzen

    Leiten Sie Massen-Traffic auf Datacenter- oder IPv6-IPs und reservieren Sie Residential für Quellen, die es brauchen.

  2. Nach Region verteilen

    Nutzen Sie Residential-Targeting, um Inhalte so zu erfassen, wie sie in jedem relevanten Land erscheinen.

  3. Rotation einplanen

    Wählen Sie rotierende Pools für zustandsloses Crawling und statische IPs für authentifizierte Erhebung.

Im Detail

Die Details, die das Ergebnis entscheiden

Pipeline-Design: Die Quelle bestimmt den Pool

Eine Datenerfassungs-Pipeline lässt sich leichter betreiben, wenn jede Quelle einmal in der Konfiguration beschrieben wird und alles Weitere sich daraus ergibt. Ein Quellenprofil enthält die Domain, die Pool-Stufe, die maximale Zahl gleichzeitiger Anfragen, die minimale Pause zwischen Anfragen, die Retry-Richtlinie und die Parser-Version. Der Scheduler füllt Warteschlangen pro Domain, Worker entnehmen daraus unter diesen Limits, und ein Router weist den Proxy zu, den das Profil nennt. Beginnt eine Quelle zu blockieren, ändern Sie ein Profil statt Code, und Sie sehen genau, welcher Pool für die Kosten verantwortlich ist.

Die Stufenzuordnung wird dann zu einem Tabellenzugriff. Offene, tolerante Quellen gehen an Datacenter-IPs, bei denen der Traffic als unbegrenzt angegeben ist und die Monatsrechnung pauschal ausfällt. Quellen, die IPv6 bedienen und viele Adressen brauchen, können die IPv6-Pakete nutzen, mit einer wichtigen Einschränkung: Alle Adressen stammen aus einem einzigen /64-Subnetz, und manche Schutzmechanismen setzen Limits für das gesamte Präfix statt für jede einzelne Adresse an, sodass sich 2,500 Adressen wie ein einziger Client verhalten können. Geschützte Quellen gehen an rotierende Residential-IPs, die pro GB abgerechnet werden. Quellen, die einen Login erfordern, nutzen statische IPs, damit die Sitzung bei einer Adresse bleibt.

QuellentypPoolAbrechnungsbasisPreisspanne (TRY pro Monat)
Tolerant, MassenabrufDatacenter-IPv4Pauschal; Traffic als unbegrenzt angegeben30 IPs: 250 · 1,000 IPs: 2,000
IPv6-fähig, adressintensivIPv6 (ein /64)Pauschal; HTTP und HTTPS angegeben100 IPs: 100 · 15,000 IPs: 2,250
Geschützt, je nach Land unterschiedlichRotating ResidentialPro GB, Nutzungszeitraum 30 Tage5 GB: 350 · 300 GB: 9,000
Login erforderlichISP statischPro IP; monatlich bis zu 12 Monaten3 IPs: 180 · 1,000 IPs: 30,000

Budgetrechnung: Anfragen, Bytes und Rücksichtnahme

Gehen Sie vom benötigten Volumen aus und rechnen Sie rückwärts. Beispiel zur Veranschaulichung: 500,000 Seiten pro Tag entsprechen durchschnittlich etwa 5.8 Anfragen pro Sekunde. Bei angenommenen 1.2 Sekunden pro Antwort sind dafür etwa sieben gleichzeitig laufende Anfragen nötig, was jeder kleine Worker-Pool bewältigt. Die Zahl der IPs bestimmt dann die Rücksichtnahme, nicht die Parallelität. Verträgt eine Quelle eine Anfrage alle zehn Sekunden pro Adresse, brauchen Sie für diese eine Quelle etwa 58 Adressen, sodass das Datacenter-Paket mit 100 IPs für 400 TRY pro Monat sie mit Reserve abdeckt.

Bepreisen Sie nun dieselbe Aufgabe nach Bytes. Angenommen, ein abgerufenes HTML-Dokument ist im Schnitt 40 KB groß: 500,000 Seiten sind 20 GB pro Tag, also etwa 600 GB pro Monat. Bei Residential-Tarifen pro GB zu 30 bis 70 TRY pro GB ist das eine ganz andere Rechnung als bei einem pauschalen Datacenter-Tarif – und der Grund, warum Residential-Traffic Quellen vorbehalten bleiben sollte, die ihn brauchen. Reduzieren Sie die Bytes, wo die Bedingungen es erlauben: Fordern Sie komprimierte Antworten per Accept-Encoding an, senden Sie If-None-Match oder If-Modified-Since, damit unveränderte Seiten eine winzige 304 zurückgeben, und überspringen Sie Bilder, Schriften und Skripte, die Sie nicht auswerten.

Rücksichtnahme schützt auch Sie selbst. Ein Pool aus 58 Adressen, der alle zehn Sekunden eine Anfrage sendet, liefert der Quelle immer noch 5.8 Anfragen pro Sekunde – eine echte Last für eine kleine Website. Begrenzen Sie die aggregierte Rate pro Domain, nicht nur die Rate pro IP, und verteilen Sie große Aufträge über den Tag. Gehen Sie bei 429- und 5xx-Antworten exponentiell zurück (Backoff), beachten Sie Retry-After, wenn der Header vorhanden ist, und pausieren Sie eine Quelle komplett, wenn ihre Fehlerrate eine von Ihnen definierte Schwelle überschreitet. Wiederholungen vervielfachen die Kosten bei GB-Tarifen; Retry-Limits sind daher ebenso eine Budgetkontrolle wie ein Gebot der Höflichkeit.

Messen Sie die Bytes pro Seite an Ihren eigenen Zielen, bevor Sie einen Tarif wählen; die obigen Zahlen sind Annahmen, keine typischen Werte.

Compliance und Data Governance innerhalb der Pipeline

Compliance gelingt am leichtesten, wenn die Pipeline sie durchsetzt, statt dass Menschen daran denken müssen. Rufen Sie die robots.txt jeder Domain ab und cachen Sie sie, aktualisieren Sie sie täglich und sorgen Sie dafür, dass der Fetcher nicht erlaubte Pfade verweigert. Führen Sie eine geprüfte Aufzeichnung der Bedingungen jeder Quelle und ein Kennzeichen dafür, ob eine offizielle API oder ein Bulk-Export existiert; falls ja, nutzen Sie sie, denn das ist günstiger, schneller und eindeutig. Bietet eine Quelle eine Möglichkeit, Ihren Crawler zu identifizieren, oder eine Kontaktadresse für Massenzugriff, nutzen Sie diesen Kanal, statt die Website zu umgehen.

Legen Sie fest, was Sie nicht speichern. Öffentlich bedeutet nicht frei von Pflichten: Namen, E-Mail-Adressen, Fotos und ähnliche Angaben können nach Gesetzen wie der DSGVO oder dem türkischen KVKK personenbezogene Daten sein, und ihre Erhebung kann eine Rechtsgrundlage erfordern, auch wenn sie sichtbar sind. Bevorzugen Sie Pipelines, die nur die benötigten Felder extrahieren, den Rest beim Parsen verwerfen und eine Aufbewahrungsfrist einhalten. Dies sind allgemeine Informationen, keine Rechtsberatung; holen Sie bei kommerziellen Datensätzen mit Personenbezug qualifizierten Rat ein, bevor die Erhebung beginnt.

Machen Sie schließlich jeden Datensatz nachvollziehbar. Speichern Sie mit jeder Zeile die Quell-URL, die Abrufzeit in UTC, den HTTP-Status, die Pool-Stufe, das Exit-Land und die Parser-Version. Die Herkunftsdokumentation (Provenance) erlaubt es, alles von einer Quelle zu löschen, falls diese widerspricht, eine von einem Stakeholder hinterfragte Zahl zu reproduzieren und zu erkennen, wenn eine regionsspezifische Stichprobe den Datensatz verzerrt. Sie liefert außerdem den Nachweis korrekten Verhaltens: Meldet sich ein Websitebetreiber bei Ihnen, können Sie die Anfrageraten belegen und zügig antworten – und Sie sollten den Job zuerst stoppen und erst danach diskutieren.

Leitfaden

Ein praxisnaher Umsetzungsplan

Vier Schritte vom ersten Test bis zum stabilen, überwachten Betrieb.

  1. Quellen inventarisieren und klassifizieren

    Listen Sie jede Quelle mit ihren robots.txt-Regeln, Bedingungen, offizieller API oder offiziellem Export auf und vermerken Sie, ob sie AAAA-Einträge veröffentlicht (prüfen Sie dies mit dem DNS-Lookup-Tool). Streichen oder überarbeiten Sie alles, was Sie nicht erheben dürfen.

  2. Stufen und Budgets zuweisen

    Geben Sie jeder Quelle einen Pool, eine Obergrenze für Anfragen pro Domain und ein tägliches Byte-Budget und schreiben Sie diese in die Konfiguration statt in den Code.

  3. Pilot mit einem Prozent

    Fahren Sie mehrere Tage lang ein Prozent des geplanten Volumens. Messen Sie Bytes pro Seite, Statusverteilung und Duplikate und berechnen Sie die Tarifgröße dann anhand der Messwerte neu.

  4. In Stufen skalieren, mit automatischem Backoff

    Steigern Sie das Volumen schrittweise, mit Alarmen für 403- und 429-Raten und einer automatischen Pause pro Quelle, und prüfen Sie wöchentlich die Kosten pro tausend Datensätze.

Durchgerechnete Szenarien

So sieht das in der Praxis aus

Beispiele zur Veranschaulichung – die Zahlen sind Annahmen zur Erläuterung der Logik, keine Messergebnisse.

Ein tolerantes Verzeichnis, 120,000 Seiten pro Tag

Das sind etwa 1.4 Anfragen pro Sekunde. Bei einer Anfrage alle fünf Sekunden pro IP würden sieben Adressen genügen, sodass das Datacenter-Paket mit 30 IPs für 250 TRY pro Monat bereits reichlich ist. Das entscheidende Limit ist die Last auf dem Verzeichnis; deshalb begrenzt das Team die aggregierte Rate und verteilt die Abrufe über den Tag (Zahlen zur Veranschaulichung).

Drei Länder, wöchentliche Durchgänge

Ein Team erfasst jede Woche über länderspezifische Residential-IPs in drei Ländern je 5,000 Listing-Seiten und ruft nur HTML ab, bei angenommenen 150 KB pro Seite. Ein Durchgang entspricht 3 × 5,000 × 150 KB, also etwa 2.25 GB; vier Durchgänge verbrauchen etwa 9 GB, und der Tarif mit 10 GB für 650 TRY passt, bei wenig Spielraum für Wiederholungen.

Eine IPv6-fähige Quelle

Eine Quelle veröffentlicht AAAA-Einträge, bestätigt mit dem DNS-Lookup-Tool. Das Team testet das IPv6-Paket mit 500 IPs für 300 TRY pro Monat, wendet aber, weil alle Adressen dasselbe /64 teilen, einen einzigen Token-Bucket auf den gesamten Pool an und vergleicht die Erfolgsquoten mit dem Datacenter-Paket mit 100 IPs für 400 TRY, bevor es sich festlegt.

Was Sie messen sollten

Erfassen Sie diese Werte ab dem ersten Tag, damit Probleme als Zahlen sichtbar werden statt als Überraschung.

  • Erfolgsquote nach Statusklasse pro Quelle: der Anteil der 2xx-Antworten im Verhältnis zu 403, 429 und 5xx, stündlich erfasst.
  • Bytes pro erfolgreichem Datensatz; dieser Wert lässt sich direkt in Kosten für GB-Tarife umrechnen und zeigt, wann Parser oder Wiederholungen Traffic verschwenden.
  • Kosten pro 1,000 Datensätze in TRY, nach Pool-Stufe, damit Sie sehen, wann sich der Wechsel einer Quelle in einen anderen Pool lohnt.
  • Aktualität der Daten: das Alter des ältesten Datensatzes im Datenbestand jeder Quelle im Vergleich zum Aktualisierungsziel.
  • Duplikat- und Parsing-Fehlerraten, da stille Layoutänderungen und wiederholte Abrufe beide die Kosten erhöhen, ohne Daten hinzuzufügen.

Häufige Fehler

Muster, die Budget verschwenden oder zu Sperren führen.

  • Die Zahl der IPs nach der Parallelität statt nach der Toleranz der Quelle zu bemessen, was die Quelle entweder überlastet oder Geld verschwendet.
  • Die Tausenden Adressen in einem IPv6-/64 als unabhängige Identitäten zu behandeln, obwohl ein Schutzmechanismus, der nach Präfix limitiert, nur einen einzigen Client sieht.
  • Unbegrenzte Wiederholungen bei GB-Tarifen zuzulassen, wo eine Sperre zu einem Retry-Sturm werden kann, der das Monatskontingent in Stunden aufbraucht.
  • Keine Herkunftsangaben zu speichern, sodass Sie einen Datensatz nicht erklären, korrigieren oder löschen können, wenn eine Quelle oder eine Aufsichtsbehörde danach fragt.
  • Personenbezogene Daten zu erheben, „weil sie öffentlich sind“, was nach dem Datenschutzrecht dennoch eine Rechtsgrundlage erfordern kann.

Praktische Tipps

  • Speichern Sie zu jedem Datensatz Quell-URL, Zeit, IP-Typ und Land.
  • Fahren Sie bei Antworten 429 und 403 automatisch zurück.
  • Bevorzugen Sie offizielle APIs und Bulk-Exporte.
  • Halten Sie personenbezogene Daten aus Ihrer Pipeline heraus, sofern Sie keine Rechtsgrundlage haben.

Proxys verantwortungsvoll nutzen

Erheben Sie öffentliche Daten rechtmäßig und respektvoll: Beachten Sie robots.txt und Bedingungen, befolgen Sie das Datenschutzrecht und vermeiden Sie die Überlastung von Diensten.

Wie wähle ich zwischen IPv6 und IPv4?

IPv6 für Quellen, die IPv6 ausliefern und riesige Adressmengen brauchen; IPv4 für universelle Reichweite.

Machen Rotating-Proxys die Erhebung legal?

Nein. Die Rechtmäßigkeit hängt davon ab, was und wie Sie erheben, nicht vom Proxy.

Wie sollte ich die Bandbreite budgetieren?

Messen Sie eine Stichprobe echter Seiten in Bytes und multiplizieren Sie dann. Das Blockieren von Bildern und Skripten kann den Verbrauch drastisch senken.

Muss ich robots.txt befolgen?

robots.txt ist eine Konvention und kein Gesetz, drückt aber den Willen des Websitebetreibers aus, und es zu ignorieren kann gegen Nutzungsbedingungen verstoßen oder Ihre Position in einem Streit schwächen. Wir empfehlen, sie zu beachten und eine offizielle API oder einen Export zu nutzen, wo es einen gibt. Dies ist eine allgemeine Orientierung, keine Rechtsberatung.

Woran erkenne ich, ob eine Quelle über IPv6 funktioniert?

Fragen Sie die AAAA-Einträge mit dem DNS-Lookup-Tool ab: Ohne AAAA-Eintrag ist die Website nur über IPv4 erreichbar, und ein reiner IPv6-Exit kann sie in der Regel nicht erreichen. Ein Eintrag ist notwendig, aber nicht ausreichend; führen Sie daher einen kleinen Test über das Paket durch. Der Anbieter nennt für IPv6 HTTP und HTTPS; SOCKS5 ist nicht bestätigt.

Wie vermeide ich GB-Verschwendung, wenn ein langer Crawl neu startet?

Speichern Sie Ihre Warteschlange und eine Aufzeichnung der abgerufenen URLs mit ETag oder Inhalts-Hash dauerhaft, damit ein Neustart fortsetzt statt zu wiederholen. Machen Sie Abrufe idempotent und entfernen Sie Duplikate aus den URLs, bevor Sie sie einreihen. Jede wiederholte Seite kostet bei Residential-GB-Tarifen echtes Geld, und diese haben zudem einen Nutzungszeitraum von 30 Tagen – planen Sie Ihre Abrufe entsprechend.

Enterprise

Sie brauchen Volumen, individuelle Standorte oder ein beschaffungsfreundliches Setup?

Sprechen Sie mit dem Vertrieb über große IP-Mengen, lange Laufzeiten und individuelles Onboarding. Nennen Sie uns Zielländer und Traffic-Profil, dann schlagen wir eine passende Lösung vor.