Compliance gelingt am leichtesten, wenn die Pipeline sie durchsetzt, statt dass Menschen daran denken müssen. Rufen Sie die robots.txt jeder Domain ab und cachen Sie sie, aktualisieren Sie sie täglich und sorgen Sie dafür, dass der Fetcher nicht erlaubte Pfade verweigert. Führen Sie eine geprüfte Aufzeichnung der Bedingungen jeder Quelle und ein Kennzeichen dafür, ob eine offizielle API oder ein Bulk-Export existiert; falls ja, nutzen Sie sie, denn das ist günstiger, schneller und eindeutig. Bietet eine Quelle eine Möglichkeit, Ihren Crawler zu identifizieren, oder eine Kontaktadresse für Massenzugriff, nutzen Sie diesen Kanal, statt die Website zu umgehen.
Legen Sie fest, was Sie nicht speichern. Öffentlich bedeutet nicht frei von Pflichten: Namen, E-Mail-Adressen, Fotos und ähnliche Angaben können nach Gesetzen wie der DSGVO oder dem türkischen KVKK personenbezogene Daten sein, und ihre Erhebung kann eine Rechtsgrundlage erfordern, auch wenn sie sichtbar sind. Bevorzugen Sie Pipelines, die nur die benötigten Felder extrahieren, den Rest beim Parsen verwerfen und eine Aufbewahrungsfrist einhalten. Dies sind allgemeine Informationen, keine Rechtsberatung; holen Sie bei kommerziellen Datensätzen mit Personenbezug qualifizierten Rat ein, bevor die Erhebung beginnt.
Machen Sie schließlich jeden Datensatz nachvollziehbar. Speichern Sie mit jeder Zeile die Quell-URL, die Abrufzeit in UTC, den HTTP-Status, die Pool-Stufe, das Exit-Land und die Parser-Version. Die Herkunftsdokumentation (Provenance) erlaubt es, alles von einer Quelle zu löschen, falls diese widerspricht, eine von einem Stakeholder hinterfragte Zahl zu reproduzieren und zu erkennen, wenn eine regionsspezifische Stichprobe den Datensatz verzerrt. Sie liefert außerdem den Nachweis korrekten Verhaltens: Meldet sich ein Websitebetreiber bei Ihnen, können Sie die Anfrageraten belegen und zügig antworten – und Sie sollten den Job zuerst stoppen und erst danach diskutieren.