Scraper’lar öngörülebilir nedenlerle başarısız olur: tek adresten çok fazla istek, otomatik görünen adresler ve yarıda kopan oturumlar. Doğru proxy türü ilk ikisini çözer; iyi scraper tasarımı üçüncüsünü.
Siteler tek bir adresin gönderebileceği istek sayısını sınırlar. Trafiği tek bir IP’de yoğunlaştırırsanız dakikalar içinde kısıtlanır veya engellenirsiniz.
IP itibar puanlaması
Korumalı siteler adresleri datacenter, residential veya mobil olarak sınıflandırır ve daha ilk istekten itibaren farklı davranır.
Lokasyona bağlı içerik
Fiyatlar, stok durumu ve sonuçlar ziyaretçinin ülkesine göre değişir; bu yüzden tek lokasyonlu bir scraper web’in yalnızca tek bir sürümünü görür.
Yaklaşım
Doğru proxy’ler nasıl yardımcı olur
01
IP türünü hedefe uydurun
Toleranslı siteler ve API’ler için datacenter IP’leri, korumalı tüketici siteleri için rotating residential IP’leri, kararlı bir kimliğin önemli olduğu yerlerde ISP IP’lerini kullanın.
02
Rotasyon ve sabitlemeyi bilerek seçin
Durumsuz çekim için her istekte rotasyon yapın; bir oturum açma, sepet veya sayfalı akışın tek adreste kalması gerektiğinde sticky oturumlar kullanın.
03
Doğru ülkeyi hedefleyin
Residential planlar ülke düzeyinde hedefleme listeler; böylece hedef kitlenizin gördüğü sayfa sürümünü toplarsınız.
Önerilen
Uygun ürünler
Bu iş yüküne ne sıklıkla uyduklarına göre sıralanmıştır. Özellikler, sınırlar ve canlı planlar için bir ürünü açın.
Bir scraper’ı boyutlandırmak: IP bütçesi ve bant genişliği bütçesi
Her scraping işinin birbirinden bağımsız iki sınırı vardır. IP bütçesi, hedef site kısıtlamaya başlamadan önce tek bir adresin dakikada kaç istek gönderebileceğidir; bu sayıyı ölçmeniz gerekir, ancak örnek bir site için 4 kabul edin. Bant genişliği bütçesi ise taşıdığınız bayt miktarıdır ve yalnızca kotalı planlarda önem taşır. Günde 24.000 sayfalık örnek (illustrative) bir iş yükü alalım; bu dakikada yaklaşık 17 istek eder. IP başına dakikada 4 istekle bu yaklaşık beş adres gerektirir; dolayısıyla en küçük IPv4 Datacenter Proxy paketi bile, yani ayda 250 TRY’ye 30 IP, her adresi dakikada yaklaşık 0,6 istekle çalıştırır.
Residential Proxy’de faturalandırma hesabı tersine çevirir, çünkü adrese değil gigabayta ödeme yaparsınız. Sayfa başına örnek (illustrative) 150 KB ile aynı 24.000 sayfa günde 3,6 GB, 30 günlük dönemde ise 108 GB eder. Bu, 100 GB’lık planı (3.500 TRY) yüzde 8 aşar ve sizi 200 GB’lık plana (7.000 TRY) iter; bu nedenle görselleri, yazı tiplerini ve izleyicileri (tracker) ayıklamak göründüğünden daha değerlidir. 100 GB’a sığdırıldığında maliyet sayfa başına yaklaşık 0,005 TRY olur; 30 IP’lik datacenter paketinde ise yaklaşık 0,0003 TRY.
Çok büyük ve sürekli işler mantığı bir kez daha tersine çevirir. Sınırsız rotating residential planlar sabit bir ücreti sınırsız trafikle takas eder: aylık plan 75.000 TRY’dir; bu, 300 GB’lık planın GB başına 30 TRY oranında 2.500 GB’a, yani günde yaklaşık 83 GB’a denk gelir. Bu hacmin altında GB’lık planlar daha ucuzdur; üstünde ise kâğıt üzerinde sınırsız plan kazanır. Adil kullanım sınırları veya eşzamanlılık üst sınırları gibi sınırsız kullanım koşulları bu sitede yayımlanmamıştır; bu varsayım üzerine bir veri hattı kurmadan önce WhatsApp’tan satış ekibine sorun.
Mobil ağ içeriği veya operatörün güvendiği uç noktalar
Adres güveni ve kota
Rotating mobil paketler (5, 10, 100 GB) veya sınırsız aylık
Sabit bir kimliğin arkasındaki kendi girişiniz
Oturum sürekliliği
ISP Proxy (sabit Türk IP’leri)
02
Oturum, yeniden deneme ve geri çekilme (backoff) tasarımı
Rotasyona alışkanlıkla değil, durum (state) birimine göre karar verin. Ürün sayfası veya arama sonucu gibi durumsuz bir istek her seferinde farklı bir IP’den çıkabilir. Giriş yapma, bir oturuma bağlı sayfalama belirteci (token) veya sepet gibi durum taşıyan bir akış ise tek adreste kalmalıdır; bu nedenle Residential Proxy planında sticky (sabit) oturum isteyin ya da sabit bir ISP Proxy IP’si kullanın. Çıkış IP’si başına bir çerez deposu tutun, çünkü bir adresin çerezlerini başka bir adresten tekrar oynatmak oturumların geçersiz kılınmasının yaygın bir nedenidir. Datacenter paketlerinde rotasyonu kendiniz yaparsınız; örneğin IP başına bekleme süresi (cooldown) olan round-robin ile.
Hataları sınıfına göre ele alın. Bağlantı hataları, zaman aşımları ve 407 yanıtı (proxy kimlik doğrulaması gerekli) bir engellemeye değil, proxy yoluna veya kimlik bilgilerinize işaret eder. 403, 429 ya da doğrulama sayfası (challenge) taşıyan bir 200 yanıtı ise hedefe işaret eder. 429 için varsa Retry-After başlığına uyun; yoksa rastgele jitter ile üstel olarak geri çekilin, örneğin yaklaşık 2, 4, 8 ve 16 saniye, ve aynı IP’yi zorlamak yerine farklı bir IP’den yeniden deneyin. Kalıcı bir engel bir GB planını eritmesin diye yeniden denemeleri URL başına üç veya dörtle sınırlayın.
Proxy yalnızca ağ yolunu değiştirir. HTTP istemcinizin TLS el sıkışması, başlık sırası ve protokol sürümü bir CONNECT tüneli üzerinden hedefe değişmeden ulaşır; dolayısıyla betik gibi görünen bir istemci, residential bir IP’de de betik gibi görünür. Başlıkları tutarlı tutun: gerçek bir tarayıcı User-Agent’ı ve eşleşen bir Accept-Language kullanın, istek başına yeni bir el sıkışmadan kaçınmak için bağlantıları keep-alive ile yeniden kullanın ve headless tarayıcıyı yalnızca sayfalar gerçekten JavaScript gerektiriyorsa kullanın; çünkü tam bir render genellikle ham HTML’in birkaç katı bayt tüketir.
Durum kodunun 200 olması başarının kanıtı değildir. Bir yanıtı yalnızca beklediğiniz alanları içeriyorsa sayın.
03
Filoyu izlemek ve çalıştığını kanıtlamak
İlk üretim çalıştırmasından önce her uç noktayı doğrulayın. Ücretsiz proxy kontrol aracı istek başına en fazla 10 proxy alır, HTTP veya SOCKS5’i otomatik algılar ve çıkış IP’sini, gecikmeyi ve bir hata kodunu bildirir; böylece bir partiyi tek geçişte eleyebilirsiniz. Kodlar nedenleri net biçimde ayırır: auth yanlış kimlik bilgisi anlamına gelir, refused veya timeout uç noktaya ya da porta ulaşılamadığını gösterir, connect_denied veya tls ise doğrudan tüneli işaret eder. Ardından hedefin göreceği adresi doğrulamak için proxy kullanan bir tarayıcıda IP adresi kontrol aracını açın ve adresin değiştiğini doğrulamak için bunu rotating bir uç noktada tekrarlayın.
Üretimde her istek için tek bir satır kaydedin: hedef alan adı, IP türü, çıkış IP’si veya özeti (hash), durum kodu, bayt, gecikme, yeniden deneme sayısı ve içerik geçerlilik bayrağı. Bu tablodan alan adı ve IP türü başına engellenme oranını hesaplayabilir, başarısız adresleri listenizden çıkarabilirsiniz; örneğin en az 100 istekte geçerli yanıt oranı yüzde 80’in altında kalanlar. Bu eşiği hedefinize göre ayarlamalısınız. Tekil hatalara değil, eğilimlere göre alarm kurun: bir saat içinde ikiye katlanan engellenme oranı genellikle bir ağ arızasına değil, hedefteki bir kural değişikliğine işaret eder.
Rotasyon yükü yayar; izin vermez. Bir site sizden durmanızı istiyor ya da resmî bir besleme (feed) sunuyorsa onu kullanın.
Uygulama planı
Pratik bir uygulama planı
İlk denemeden kararlı, izlenen bir işleyişe dört adım.
01
Önce yetkili bir kaynak arayın
Herhangi bir şey kurmadan önce resmî bir API, besleme veya toplu dışa aktarma olup olmadığına bakın; robots.txt dosyasını ve kullanım koşullarını okuyun. Gerçekte ihtiyaç duyduğunuz alanlar çoğu zaman tüm tasarımı belirler.
02
IP türü başına pilot çalıştırın
En ucuz aday türde 500 ila 1.000 temsilî URL çekin; geçerli içerik oranını, sayfa başına baytı ve gecikmeyi kaydedin. Sonuçlar eşiğinizi tutturamıyorsa bir sonraki türe geçin.
03
Alan adı başına sınır belirleyin
En yüksek eşzamanlılığı, dakikadaki istek sayısını ve IP başına bekleme süresini tanımlayın; 429 ve 5xx yanıtlarında rastgele gecikmeler (jitter) ve üstel geri çekilme kullanın.
04
Adım adım ölçeklendirin, haftalık gözden geçirin
Hacmi yalnızca engellenme oranı eşiğinizin altında kaldığı sürece ikiye katlayın ve her hafta bin geçerli sayfa başına maliyeti karşılaştırın; böylece plan değişikliği veriye dayalı bir karar olur.
Çalışılmış senaryolar
Pratikte nasıl görünür
Örnek niteliğindedir — sayılar ölçülmüş sonuç değil, mantığı göstermek için varsayımlardır.
01
Herkese açık dizin taraması
Bir araştırma ekibi bir hafta içinde herkese açık bir dizinin 300.000 sayfasını, saatte yaklaşık 1.800 sayfa hızıyla tarıyor. İşi, bir IPv4 Datacenter Proxy paketinin (ayda 400 TRY) 100 IP’sine yayıyor; IP başına saatte yaklaşık 18 istek düşüyor ve rotasyon bekleme süreli round-robin ile yapılıyor. Bu oran örnektir (illustrative): sitenin gerçek toleransı bir pilotta ölçülmelidir.
02
Korumalı perakende kategori sayfaları
Datacenter aralıklarını reddeden bir perakendeciye karşı yapılan pilot, datacenter IP’lerinden gelen isteklerin yüzde 40’ı, residential IP’lerden gelenlerin yüzde 95’i için geçerli sayfa döndürüyor (örnek rakamlar). Sayfa başına yaklaşık 200 KB ile 50 GB’lık bir Residential Proxy planı (2.500 TRY) yaklaşık 250.000 sayfayı, yani sayfa başına 0,01 TRY’yi karşılıyor. Ekip residential’ı yalnızca bu perakendeci için kullanıyor, geri kalanlar için datacenter IP’lerini tutuyor.
03
Bir iş ortağı portalından kimlik doğrulamalı dışa aktarma
Bir finans ekibi, kimlik bilgilerine sahip olduğu ve koşulları otomatik dışa aktarmaya izin veren bir iş ortağı portalından günlük raporlar indiriyor. Portal oturumları adrese bağladığı için iş, 3 IP’li ISP Proxy planındaki (ayda 180 TRY) tek bir sabit IP’ye ve tek bir çerez deposuna sabitleniyor. Başka herhangi bir adres, her çalıştırmada yeniden kimlik doğrulama istemi riskini doğururdu.
Ne ölçmeli
Sorunlar sürpriz değil sayı olarak görünsün diye ilk günden itibaren izleyin.
Alan adı ve IP türü başına geçerli içerik oranı; HTTP 200’e göre değil, beklenen alanların varlığına göre sayılır.
Engellenme oranı, yani 403, 429 veya doğrulama sayfasıyla biten isteklerin payı; IP türü ve saat başına izlenir.
1.000 geçerli sayfa başına maliyet; plan fiyatını, yeniden denemeleri ve boşa giden baytları birlikte hesaba katar.
Sayfa başına ortalama ve 95. yüzdelik dilimdeki bayt; GB planı boyutlandırmasını belirler.
Yeniden deneme oranı ve 95. yüzdelik dilimdeki gecikme; çünkü artan değerler, kesin engeller ortaya çıkmadan önce kısıtlamanın sinyalini verir.
Sık yapılan hatalar
Bütçeyi boşa harcayan veya erişimin engellenmesine yol açan kalıplar.
HTTP 200’ü başarı saymak; böylece yumuşak engeller ve boş şablonlar veri setini fark edilmeden kirletir.
Durum gerektiren bir akışın ortasında IP döndürmek; bu, belirteçleri geçersiz kılar ve yeniden kimlik doğrulamaya zorlar.
Bir 429’dan sonra aynı IP’de hemen yeniden denemek; bu, hız sınırını engellemeye dönüştürür.
GB kotalı bir planda görselleri, yazı tiplerini ve izleyicileri indirmek; veri değeri olmadan maliyeti katlar.
Ölçülmüş IP başına tolerans yerine havuz büyüklüğüne göre satın almak; kapasite ya boşa gider ya da yetersiz kalır.
Pratik ipuçları
robots.txt’ye ve yayınlanmış şartlara saygı gösterin; birçok site bir API sunar.
Ani yüklenmek yerine alan adı başına hızı kısıp rastgele gecikme (jitter) ekleyin.
GB ölçümlü planlarda bant genişliğini azaltmak için görselleri ve medyayı engelleyin.
Engelleri erken fark edebilmek için IP başına HTTP durum kodlarını kaydedin.
Proxy’leri sorumlu kullanın
Yalnızca erişmenize izin verilen verileri toplayın, hız sınırlarına ve gizlilik mevzuatına saygı gösterin; proxy’leri hiçbir hizmete saldırmak, onu aşırı yüklemek veya dolandırmak için kullanmayın. Kötüye kullanım erişiminizin sona ermesine yol açabilir.
Hedefe bağlıdır. Toleranslı siteler için datacenter, korumalı siteler için rotating residential, kararlı oturumlar için ISP. Ana sayfadaki karşılaştırma tablosu artıları ve eksileri özetler.
Kaç proxy’ye ihtiyacım var?
Gereken dakika başına istek sayınızı, hedef için IP başına güvenli hıza bölün. Küçük başlayın, engellenme oranını ölçün, sonra ölçekleyin.
Scraping yasal mı?
Verilere, sitenin şartlarına ve bulunduğunuz hukuk düzenine bağlıdır. Ticari projeler için hukuki danışmanlık alın; proxy’ler yasallığı değiştirmez.
Datacenter paketlerinde rotasyonu kendim mi kurmalıyım?
Evet. IPv4 Datacenter Proxy paketleri size kullanıcı adı ve parola ile kimlik doğrulamalı sabit adreslerden oluşan bir liste verir; otomatik rotasyon yoktur. Rotasyonu kendi kodunuzda yapın; örneğin IP başına bekleme süreli round-robin ile. Rotating residential uç noktaları çıkış adresini sizin yerinize değiştirir.
Bir scraper için HTTP mi SOCKS5 mi kullanmalıyım?
Çoğu scraping kütüphanesi HTTP proxy’lerle doğrudan çalışır ve HTTPS sayfaları bir CONNECT tüneli olarak geçer. SOCKS5, HTTP dışı trafik için veya yalnızca onu destekleyen araçlar için işe yarar. Datacenter ve residential planlarda protokol desteği sağlayıcının listelemelerinden gelir ve ödeme sırasında bir seçici yoktur; bu yüzden kurulumunuzu buna dayandırmadan önce protokolünüzü WhatsApp’tan satış ekibiyle teyit edin.
JavaScript ağırlıklı sayfalardan GB planımı tüketmeden nasıl veri çekebilirim?
Önce sayfaya gömülü yapılandırılmış veriye ya da sayfanın kendisinin herkese açık olarak çağırdığı JSON uç noktasına bakın; bu, tam bir render’dan çok daha hafiftir. Headless tarayıcı gerekiyorsa görselleri, yazı tiplerini ve medyayı engelleyin, statik varlıkları çalıştırmalar arasında önbelleğe alın. Plan boyutunu seçmeden önce küçük bir örnekte sayfa başına baytı ölçün.
Kurumsal
Hacim, özel lokasyonlar veya satın alma sürecine uygun bir kurulum mu gerekiyor?
Yüksek IP sayıları, uzun sözleşmeler ve özel devreye alma için satış ekibiyle görüşün. Hedef ülkelerinizi ve trafik profilinizi bize iletin, size uygun bir çözüm önerelim.