Proxy ile Web Scraping: Sorumlu Bir Rehber

Proxy’ler IP başına sınırları çözer, kötü scraper tasarımını değil. İkisini sorumlu biçimde nasıl birleştireceğiniz burada.

13 dk okuma

Her ölçekteki scraping aynı sorunlara çarpar: siteler tek bir adresin kaç istek yapabileceğini sınırlar ve bazı adres türlerine diğerlerinden daha şüpheyle yaklaşır. Proxy’ler ikisini de ele alır — ancak iyi bir scraper’ın yalnızca bir parçasıdır.

Nezaketle başlayın

  • Önce resmî bir API veya veri dışa aktarımı olup olmadığına bakın.
  • robots.txt dosyasını ve sitenin şartlarını okuyun.
  • Gerekli yerlerde scraper’ınızı dürüstçe tanıtın ve istek hızlarını ılımlı tutun.
  • Hukuki dayanak olmadan kişisel veri toplamaktan kaçının.

Doğru IP türünü seçin

Datacenter IP’ler toleranslı siteler için en ucuzdur. Residential rotating IP’ler barındırma aralıklarını filtreleyen sitelerde yardımcı olur. Statik ISP IP’ler kimlik doğrulamalı akışlara uygundur. Ayrıntılar için residential ve datacenter karşılaştırma rehberine bakın.

Başarısızlığa göre tasarlayın

429 (çok fazla istek), 403 ve zaman aşımları bekleyin. Üstel geri çekilmeyle yeniden deneyin, tekrarlanan engellemelerde başka bir IP’ye geçin ve örüntüler görünür olsun diye IP başına durum kodunu kaydedin.

Python
import random, time, requests

PROXIES = ["http://USER:PASS@HOST1:PORT", "http://USER:PASS@HOST2:PORT"]

def fetch(url, tries=4):
    for i in range(tries):
        proxy = random.choice(PROXIES)
        try:
            r = requests.get(url, proxies={"http": proxy, "https": proxy}, timeout=15)
            if r.status_code == 200:
                return r.text
            if r.status_code in (403, 429):
                time.sleep(2 ** i + random.random())
        except requests.RequestException:
            time.sleep(1 + random.random())
    return None

Bant genişliğini kontrol edin

GB ölçümlü paketlerde görselleri, yazı tiplerini ve medyayı engelleyin; mümkün olduğunda JSON uç noktalarından veri çekin. Aylık kullanımınızı tahmin etmek için bir örneklemi ölçün.

Tarayıcıyı yazmadan önce kuralları okuyun

robots.txt ile başlayın, ama ne olduğunu bilin. Robots Exclusion Protocol (RFC 9309), her origin’in kökünden sunulan, tarayıcılara (crawler) hangi yolları istememeleri gerektiğini user-agent bazında gruplayarak söyleyen bir dosyadır; en spesifik eşleşen kural kazanır. Dosya 4xx durumu döndürürse tarayıcılar sitenin kısıtlaması olmadığını varsayabilir; 5xx döndürürse ya da ulaşılamazsa standart, yeniden çalışana kadar her şeyin yasak olduğunu varsaymayı söyler. Crawl-delay standardın parçası değildir ve her tarayıcı ona uymaz; ancak bir site bunu yayımlıyorsa yavaşlama talebi olarak değerlendirin.

robots.txt tarayıcılar için bir gelenektir, bir lisans değildir. Hizmet şartları, dosya ne derse desin otomatik erişimi kısıtlayabilir ve veriyle ne yaptığınızı başka kurallar da belirleyebilir: içerik üzerindeki telif hakkı, bazı yargı bölgelerinde veritabanı hakları ve veri kişileri tanımlıyorsa AB’de GDPR ya da Türkiye’de KVKK gibi veri koruma hukuku. Bu genel bilgidir, hukuki tavsiye değildir; proje ticariyse nitelikli birine inceletin. Kimlik doğrulamayı, ücret duvarlarını (paywall) veya erişim kontrollerini asla aşmayın ve bir CAPTCHA’yı ya da erişim reddedildi sayfasını, araçlarla yenilecek bir engel olarak değil, yavaşlama veya durma işareti olarak değerlendirin.

Proxy araçlarıHTTP Header KontrolüGenel bir URL’yi isteyin ve yanıt header’larını, yönlendirme zincirini ve yaygın güvenlik header’larının bulunup bulunmadığını görün.Keşfet

Rotasyondan önce hız sınırlayıcıyı kurun

Daha büyük bir adres havuzu, daha büyük bir yük bindirme hakkı vermez. Sunucu hâlâ her isteği taşır ve sınırlar yalnızca IP başına değil, hesap, oturum cookie’si, ağ bloğu veya parmak izi başına da uygulanabilir. Bütçeyi proxy başına değil, hedef host başına belirleyin: uçuştaki (in-flight) isteklerde bir üst sınır (iki ila beş makul bir başlangıçtır, açıklayıcı olarak), istekler arasında rastgele jitter içeren asgari bir gecikme ve 429 veya 503 durumunda hızı yarıya indiren, bir dizi başarıdan sonra küçük adımlarla yeniden yükselten uyarlanabilir bir kural; tıpkı TCP’deki tıkanıklık kontrolü gibi.

Nezaketin bir zaman maliyeti vardır; bunu planlamalısınız ve hiçbir IP sayısı bunu ortadan kaldırmaz. Saniyede 2 istekle 100.000 sayfa çekmek 50.000 saniye, yani yaklaşık 13,9 saat sürer; saniyede 5 istekle 20.000 saniye, yani yaklaşık 5,6 saat sürer. Bu çok yavaşsa çözüm daha fazla adres değil, daha dar bir kapsam, artımlı güncellemeler veya site ile bir anlaşmadır.

Zarar vermek yerine yardımcı olan yeniden denemeler

Jitter’lı backoff, birçok worker’ın eş zamanlı olarak yeniden denemesini engeller. “Full jitter”, sıfır ile min(cap, base × 2^attempt) arasında rastgele bir süre uyur ve yeniden denemeleri tüm pencereye yayar. Bir 429 veya 503 yanıtı, saniye sayısı ya da HTTP tarihi içeren bir Retry-After başlığı taşıyorsa en az o kadar bekleyin. Ayrı bağlantı (connect) ve okuma (read) zaman aşımları kullanın, hem deneme sayısına hem de URL başına toplam süreye üst sınır koyun ve döngüyü yazmadan önce her durumun ne anlama geldiğine karar verin:

  • Backoff ile yeniden deneyin: zaman aşımları, bağlantı sıfırlamaları, 429, 502, 503 ve 504. Bunlar genellikle geçicidir ya da yavaşlama talebidir.
  • Yeni bir bağlantıda veya oturumda bir kez yeniden deneyin: tekrarlanan proxy tarafı bağlantı hataları gibi tek bir çıkış düğümüne özgü görünen başarısızlıklar.
  • Yeniden denemeyin: 404 ve 410 sayfanın gittiği anlamına gelir, bu yüzden bunları kaydedin. 401 ve 403 aksaklık değil, erişim kararlarıdır; bunları birçok adresten tekrarlamak tüm bir aralığın engellenmesinin hızlı yoludur.
  • 407’yi kendi yapılandırma sorununuz olarak ele alın: web sitesinin sizi reddetmesi değil, proxy’nin kimlik bilgisi istemesidir.

Aşağıdaki fonksiyon bu parçaları birleştirir: yukarıdaki durum kurallarını izleyen bir robots.txt kontrolü, full-jitter backoff, Retry-After işleme ve bir durum politikası. Uyarlanacak bir şablondur, bitmiş bir tarayıcı değildir.

Python
import random
import time
import urllib.robotparser

import requests

UA = "ExampleBot/1.0 (+https://example.com/bot-info)"
PROXY = "http://USER:PASS@HOST:PORT"
PROXIES = {"http": PROXY, "https": PROXY}
HEADERS = {"User-Agent": UA}

robots = urllib.robotparser.RobotFileParser()
resp = requests.get("https://example.org/robots.txt", headers=HEADERS, proxies=PROXIES, timeout=15)
if resp.status_code == 200:
    robots.parse(resp.text.splitlines())
elif resp.status_code >= 500:
    robots.disallow_all = True
else:
    robots.allow_all = True

def backoff(attempt, base=1.0, cap=60.0):
    return random.uniform(0, min(cap, base * 2 ** attempt))

def polite_get(url, tries=5):
    if not robots.can_fetch(UA, url):
        return None
    for attempt in range(tries):
        try:
            r = requests.get(url, headers=HEADERS, proxies=PROXIES, timeout=(5, 20))
        except requests.RequestException:
            time.sleep(backoff(attempt))
            continue
        if r.status_code == 200:
            return r.text
        if r.status_code in (429, 503):
            wait = r.headers.get("Retry-After", "")
            time.sleep(min(float(wait), 300) if wait.isdigit() else backoff(attempt))
        elif r.status_code in (500, 502, 504):
            time.sleep(backoff(attempt))
        else:
            return None
    return None

Her proxy’yi sağlık puanı olan bir bileşen olarak ele alın

Uzun bir çalıştırmada tekil çıkışlar bozulur: bir düğüm hız sınırına takılır, bir gateway yeniden başlar, bir kimlik bilgisi sona erer. Proxy veya oturum başına sayaçlar tutun (başarılar, 429’lar, 403’ler, zaman aşımları, bayt) ve proxy arızalarını hedef arızalarından ayırın. Bağlantı reddi, proxy zaman aşımları, 407 ve gateway’in ürettiği 502’ler proxy’yi işaret eder; siteden gelen 403 ve 429 ise hedefi ve sizin davranışınızı işaret eder. Proxy checker’ın hata kodları (auth, refused, timeout, not_http_proxy, tls ve diğerleri) aynı ayrımı kullanır; böylece şüpheli bir proxy’yi tarayıcınızdan bağımsız olarak doğrulayabilirsiniz.

Bir devre kesici (circuit breaker) ekleyin. Belirli sayıda art arda başarısızlıktan sonra (örneğin beş, açıklayıcı), o proxy’yi on dakika gibi bir soğuma süresi için rotasyondan çıkarın, sonra geri almadan önce tek bir istekle yoklayın. Bir proxy’yi ilk hatada kalıcı olarak atmak ödenmiş kapasiteyi boşa harcar; başarısız olana sürekli yüklenmek ise ölçümlü planlarda bant genişliği yakar.

Taramayı devam ettirilebilir ve daha ucuz hale getirin

  • Her URL’nin durumunu, deneme sayısını ve son hatayı içeren bir kuyruğu kalıcı olarak saklayın; böylece bir çökme veya dağıtım, yeniden çekmek yerine kaldığı yerden devam eder.
  • URL’leri kuyruğa girmeden önce normalleştirin ve tekilleştirin (izleme parametreleri, sorgu dizesi sırası, sondaki eğik çizgiler).
  • Koşullu istekler kullanın: ETag veya Last-Modified değerini saklayın ve bir sonraki sefer If-None-Match veya If-Modified-Since gönderin. 304 yanıtının gövdesi yoktur; bu da GB ölçümlü planlarda veriden, sitede ise yükten tasarruf sağlar.
  • Sıkıştırmayı kabul edin; çoğu HTTP istemcisi gzip’i şeffaf biçimde işler ve HTML ile JSON’u genellikle önemli ölçüde küçültür.
  • Ham yanıtları ayrıştırmadan önce saklayın; böylece bir ayrıştırıcı hatası, yeniden istek harcamak yerine dosyaları yeniden işlemek anlamına gelir.
  • Yalnızca durumu değil, içeriği doğrulayın: bir engel sayfası veya giriş formu içeren 200 bir başarısızlıktır; bu yüzden bir sayfayı başarılı saymadan önce beklenen bir öğeyi şart koşun.

Her oturumu kendi içinde tutarlı tutun

Sticky session kullandığınızda her oturuma kendi cookie jar’ını verin ve başlıklarını ömrü boyunca sabit tutun: aynı User-Agent, aynı Accept-Language vb. Bir adrese verilen cookie’nin başka bir adresten sunulması ya da aynı adresten art arda gelen isteklerde başlık kümesinin değişmesi, bir sitenin sizi sorgulaması (challenge) için sebeptir. Bu sitedeki user-agent kontrol aracı, client hints, dil ve saat dilimi dahil bir tarayıcının neleri açığa çıkardığını gösterir; bu da kendi istemcinizin başlıklarının sizin hakkınızda ne söylediğini görmenize yardımcı olur. Tutarlılık, kendi istemcinizdeki kazara çelişkilerden kaçınmak demektir; bir sitenin kurallarının yasakladığı durumlarda başkalarının yazılımını taklit etmek anlamına gelmez.

Üretimde nelerin izlenmesi gerekir

  • Hedef başına ve proxy ya da oturum başına başarı oranı; içerik doğrulaması uygulanmış olarak.
  • Gecikme yüzdelikleri (medyan ve 95.): ortalamalar worker’ları tıkayan yavaş kuyruğu gizler.
  • Başarılı kayıt başına bayt ve 1.000 kayıt başına maliyet; bu, proxy faturalandırmasını IP türleri arasında karşılaştırabileceğiniz bir birim maliyete çevirir.
  • Zaman içinde 429 ve 403 yanıtlarının payı; yükselen bir eğilim, engeller gelmeden önce hızınızın ya da isteklerinizin düzeninin gözden geçirilmesi gerektiği anlamına gelir.
  • Veri tazeliği: her sayfanın en son ne zaman başarıyla çekildiği ve ne sıklıkla yenilenmesi gerektiği.

Sık sorulan sorular

Taze bir IP’de neden hâlâ 403 yanıtı alıyorum?

Adres yalnızca bir sinyaldir. Siteler ayrıca başlıkları, HTTP istemcinizin özelliklerini, cookie’leri, istek hızını ve düzenini ve içeriğin bir hesap gerektirip gerektirmediğini de dikkate alır. Birçok farklı IP’de tekrarlanan bir 403 genellikle nedenin adres olmadığı anlamına gelir; bu yüzden daha fazla rotasyon yardımcı olmaz. Yavaşlayın, sitenin şartlarını yeniden okuyun ve resmi bir API olup olmadığını kontrol edin.

Hangi istek hızı güvenlidir?

Evrensel bir rakam yoktur. Düşükten başlayın; örneğin host başına saniyede bir istek (açıklayıcı olarak), 429 yanıtlarının payını ve gecikme eğilimini izleyin ve hızı küçük adımlarla artırın. Site bir hız sınırı, API kotası veya robots.txt içinde Crawl-delay yayımlıyorsa tavanınızı o belirler.

Bir girişin arkasındaki verileri scrape edebilir miyim?

Yalnızca açık izinle ya da erişim hakkınız olan veriler için ve sitenin şartları dahilinde. Birçok şart hesaplara otomatik erişimi yasaklar ve oturum açılmış sayfalar çoğu zaman veri koruma hukukunun kapsadığı kişisel veriler içerir. Resmi bir API veya dışa aktarmayı tercih edin; kendi hesabınızı otomatikleştirmek zorundaysanız hesabın aynı anda birçok yerden görülmemesi için statik bir IP kullanın.

Hangi planın uygun olduğundan emin değil misiniz?

Kullanım amacınızı ve hedef ülkelerinizi anlatın, size bir ürün önerelim — ya da başka bir türün size daha uygun olduğunu dürüstçe söyleyelim.