Kepatuhan paling mudah ditegakkan oleh pipeline, bukan diingat oleh manusia. Ambil dan simpan robots.txt setiap domain, segarkan setiap hari, dan buat fetcher menolak jalur yang dilarang. Simpan catatan hasil tinjauan atas ketentuan setiap sumber beserta penanda apakah API resmi atau ekspor massal tersedia; jika ada, gunakan itu, karena lebih murah, lebih cepat, dan tidak ambigu. Jika suatu sumber menyediakan cara untuk mengidentifikasi crawler Anda atau alamat kontak untuk akses massal, gunakan saluran itu alih-alih mengakali situs.
Tentukan apa yang tidak akan Anda simpan. Publik bukan berarti bebas kewajiban: nama, alamat email, foto, dan detail serupa dapat menjadi data pribadi menurut undang-undang seperti GDPR atau KVKK di Turki, dan mengumpulkannya dapat memerlukan dasar hukum meskipun terlihat secara terbuka. Pilih pipeline yang hanya mengekstrak kolom yang Anda butuhkan, membuang sisanya saat parsing, dan menerapkan batas retensi. Ini informasi umum, bukan nasihat hukum; untuk dataset komersial yang melibatkan orang, dapatkan nasihat dari pihak yang berkualifikasi sebelum pengumpulan dimulai.
Terakhir, buat setiap rekaman dapat dilacak. Simpan URL sumber, waktu pengambilan dalam UTC, status HTTP, tingkat kumpulan IP, negara keluar, dan versi parser bersama setiap baris. Catatan asal-usul (provenance) memungkinkan Anda menghapus semua data dari suatu sumber jika ia keberatan, mereproduksi angka yang dipertanyakan pemangku kepentingan, dan mendeteksi saat sampel khusus wilayah condong mendistorsi dataset. Ini juga memberi Anda bukti perilaku yang baik: jika pemilik situs menghubungi Anda, Anda dapat menunjukkan laju permintaan dan merespons dengan cepat, dan Anda sebaiknya menghentikan pekerjaan lebih dulu lalu berdiskusi setelahnya.