Uyumluluk, insanların hatırlamasına bırakılmak yerine pipeline tarafından zorunlu kılındığında en kolayıdır. Her alan adının robots.txt dosyasını çekip önbelleğe alın, günlük yenileyin ve getiricinin (fetcher) izin verilmeyen yolları reddetmesini sağlayın. Her kaynağın koşullarının gözden geçirilmiş bir kaydını ve resmî bir API ya da toplu dışa aktarım olup olmadığını gösteren bir bayrak tutun; varsa onu kullanın, çünkü daha ucuz, daha hızlı ve belirsizlik içermez. Bir kaynak tarayıcınızı tanımlamanın bir yolunu ya da toplu erişim için bir iletişim adresi sunuyorsa, siteyi dolanmak yerine o kanalı kullanın.
Neyi saklamayacağınıza karar verin. Herkese açık olmak, yükümlülüklerden muaf olmak anlamına gelmez: adlar, e-posta adresleri, fotoğraflar ve benzeri bilgiler GDPR veya Türkiye’deki KVKK gibi yasalar kapsamında kişisel veri olabilir ve görünür olsalar bile bunları toplamak bir hukuki dayanak gerektirebilir. Yalnızca ihtiyaç duyduğunuz alanları çıkaran, geri kalanını ayrıştırma sırasında atan ve bir saklama sınırı tutan pipeline’ları tercih edin. Bu genel bilgidir, hukuki tavsiye değildir; insanları içeren ticari veri setleri için toplamaya başlamadan önce nitelikli danışmanlık alın.
Son olarak, her kaydı izlenebilir kılın. Her satırla birlikte kaynak URL’sini, UTC cinsinden getirme zamanını, HTTP durumunu, havuz katmanını, çıkış ülkesini ve ayrıştırıcı sürümünü saklayın. Köken bilgisi, bir kaynak itiraz ederse ondan gelen her şeyi silmenizi, bir paydaşın sorguladığı bir sayıyı yeniden üretmenizi ve bölgeye özgü bir örneklemin veri setini ne zaman çarpıttığını fark etmenizi sağlar. Ayrıca iyi davranışınızın kanıtını da verir: bir site sahibi sizinle iletişime geçerse istek hızlarını gösterebilir ve hemen yanıt verebilirsiniz; önce işi durdurmalı, tartışmayı sonra yapmalısınız.