Çözümler

Veri toplama için proxy

Araştırma, analitik ve makine öğrenmesi hatları büyük hacimli herkese açık verilere dayanır. Proxy’ler IP başına darboğazları ortadan kaldırarak ve veri setinizin ihtiyaç duyduğu bölgesel görünümleri sağlayarak toplamayı öngörülebilir kılar.

Veri Toplama
IPv4 Datacenter ProxyBaşlangıç ₺250 / ay

Zorluk

Bu işi zorlaştıran nedir

  • Verim darboğazları

    Tek bir IP, herhangi bir hattın tek bir kaynaktan dakikada çekebileceği sayfa sayısını sınırlar.

  • Kaynak çeşitliliği

    Bazı kaynaklar otomasyonu memnuniyetle karşılarken diğerleri datacenter adreslerini agresif biçimde filtreler.

  • Kapsam ve yanlılık

    İçerik bölgeye göre değiştiğinde tek bir lokasyondan toplamak yanlı bir veri seti üretir.

Yaklaşım

Doğru proxy’ler nasıl yardımcı olur

  1. IP’lerinizi kademelendirin

    Toplu trafiği datacenter veya IPv6 IP’lere gönderin, residential’ı ihtiyaç duyan kaynaklara saklayın.

  2. Bölgeye göre dağıtın

    İçeriğin ilgilendiğiniz her ülkede göründüğü gibi örneklenmesi için residential hedeflemeyi kullanın.

  3. Rotasyona göre planlayın

    Durumsuz tarama için rotating havuzları, kimlik doğrulamalı toplama için sabit IP’leri seçin.

Ayrıntılı bilgi

Sonucu belirleyen ayrıntılar

Pipeline tasarımı: havuzu kaynak belirlesin

Veri toplama pipeline’ı, her kaynak yapılandırmada bir kez tanımlandığında ve geri kalan her şey ondan türetildiğinde yönetmesi daha kolaydır. Bir kaynak profili; alan adını, havuz katmanını, azami eşzamanlı isteği, istekler arasındaki asgari gecikmeyi, yeniden deneme politikasını ve ayrıştırıcı (parser) sürümünü içerir. Zamanlayıcı alan adı başına kuyrukları besler, worker’lar bu sınırlar altında kuyruklardan çeker ve bir yönlendirici profilin adını verdiği proxy’yi ekler. Bir kaynak engellemeye başladığında kodu düzenlemek yerine tek bir profili değiştirirsiniz ve maliyetten hangi havuzun sorumlu olduğunu tam olarak görebilirsiniz.

Katmanlama bu durumda bir tablo aramasına dönüşür. Açık ve hoşgörülü kaynaklar, trafiğin sınırsız listelendiği ve aylık faturanın sabit olduğu datacenter IP’lerine gider. IPv6 sunan ve çok sayıda adrese ihtiyaç duyan kaynaklar IPv6 paketlerini kullanabilir; ancak önemli bir uyarıyla: tüm adresler tek bir /64 alt ağından gelir ve bazı savunmalar sınırları her adrese değil tüm önekine uygular, bu yüzden 2,500 adres tek bir istemci gibi davranabilir. Korumalı kaynaklar GB başına faturalanan rotating residential IP’lere gider. Oturum açma gerektiren kaynaklar, oturum tek bir adresi korusun diye statik IP’ler kullanır.

Kaynak türüHavuzFaturalama esasıFiyat aralığı (aylık TRY)
Hoşgörülü, topluDatacenter IPv4Sabit; trafik sınırsız olarak listelenir30 IP: 250 · 1,000 IP: 2,000
IPv6 destekli, adres açısından yoğunIPv6 (tek /64)Sabit; HTTP ve HTTPS listelenir100 IP: 100 · 15,000 IP: 2,250
Korumalı, ülkeye göre değişirResidential rotatingGB başına, 30 günlük kullanım süresi5 GB: 350 · 300 GB: 9,000
Oturum açma gerekirISP statikIP başına; aylık, 12 aya kadar3 IP: 180 · 1,000 IP: 30,000

Bütçe hesabı: istekler, baytlar ve nezaket

İhtiyaç duyduğunuz hacimden başlayıp geriye doğru çalışın. Açıklayıcı örnek: günde 500,000 sayfa, ortalama saniyede yaklaşık 5.8 istektir. Yanıt başına varsayılan 1.2 saniyede, bu aynı anda yaklaşık yedi isteğin uçuşta olmasını gerektirir ve herhangi bir küçük worker havuzu bunu karşılar. IP sayısını o zaman eşzamanlılık değil, nezaket belirler. Bir kaynak adres başına on saniyede bir isteği hoş görüyorsa, yalnızca o kaynak için yaklaşık 58 adrese ihtiyacınız vardır; yani aylık 400 TRY’lik 100 IP’lik datacenter paketi bunu pay bırakarak karşılar.

Şimdi aynı işi baytlar üzerinden fiyatlandırın. Çekilen bir HTML belgesinin ortalama 40 KB olduğunu varsayın: 500,000 sayfa günde 20 GB, ayda yaklaşık 600 GB eder. GB başına 30 ila 70 TRY olan GB bazlı residential planlarda bu, sabit fiyatlı bir datacenter planından çok farklı bir faturadır ve residential trafiğin neden yalnızca buna ihtiyaç duyan kaynaklara ayrılması gerektiğini açıklar. Koşullar izin veriyorsa baytları azaltın: Accept-Encoding ile sıkıştırılmış yanıtlar isteyin, değişmeyen sayfalar küçük bir 304 döndürsün diye If-None-Match veya If-Modified-Since gönderin ve ayrıştırmadığınız görselleri, yazı tiplerini ve betikleri atlayın.

Nezaket sizi de korur. Her on saniyede bir istek gönderen 58 adreslik bir havuz, kaynağa yine saniyede 5.8 istek iletir; bu, küçük bir site için gerçek bir yüktür. Yalnızca IP başına hızı değil, alan adı başına toplam hızı sınırlayın ve büyük işleri güne yayın. 429 ve 5xx yanıtlarında üstel geri çekilme (exponential backoff) uygulayın, Retry-After varsa ona uyun ve hata oranı tanımladığınız eşiği aştığında bir kaynağı tamamen duraklatın. Yeniden denemeler GB planlarında maliyeti katlar, bu yüzden yeniden deneme sınırları hem bir bütçe kontrolü hem de bir nezaket gereğidir.

Bir plan seçmeden önce sayfa başına bayt miktarını kendi hedeflerinizde ölçün; yukarıdaki rakamlar varsayımdır, tipik değerler değildir.

Pipeline içinde uyumluluk ve veri yönetişimi

Uyumluluk, insanların hatırlamasına bırakılmak yerine pipeline tarafından zorunlu kılındığında en kolayıdır. Her alan adının robots.txt dosyasını çekip önbelleğe alın, günlük yenileyin ve getiricinin (fetcher) izin verilmeyen yolları reddetmesini sağlayın. Her kaynağın koşullarının gözden geçirilmiş bir kaydını ve resmî bir API ya da toplu dışa aktarım olup olmadığını gösteren bir bayrak tutun; varsa onu kullanın, çünkü daha ucuz, daha hızlı ve belirsizlik içermez. Bir kaynak tarayıcınızı tanımlamanın bir yolunu ya da toplu erişim için bir iletişim adresi sunuyorsa, siteyi dolanmak yerine o kanalı kullanın.

Neyi saklamayacağınıza karar verin. Herkese açık olmak, yükümlülüklerden muaf olmak anlamına gelmez: adlar, e-posta adresleri, fotoğraflar ve benzeri bilgiler GDPR veya Türkiye’deki KVKK gibi yasalar kapsamında kişisel veri olabilir ve görünür olsalar bile bunları toplamak bir hukuki dayanak gerektirebilir. Yalnızca ihtiyaç duyduğunuz alanları çıkaran, geri kalanını ayrıştırma sırasında atan ve bir saklama sınırı tutan pipeline’ları tercih edin. Bu genel bilgidir, hukuki tavsiye değildir; insanları içeren ticari veri setleri için toplamaya başlamadan önce nitelikli danışmanlık alın.

Son olarak, her kaydı izlenebilir kılın. Her satırla birlikte kaynak URL’sini, UTC cinsinden getirme zamanını, HTTP durumunu, havuz katmanını, çıkış ülkesini ve ayrıştırıcı sürümünü saklayın. Köken bilgisi, bir kaynak itiraz ederse ondan gelen her şeyi silmenizi, bir paydaşın sorguladığı bir sayıyı yeniden üretmenizi ve bölgeye özgü bir örneklemin veri setini ne zaman çarpıttığını fark etmenizi sağlar. Ayrıca iyi davranışınızın kanıtını da verir: bir site sahibi sizinle iletişime geçerse istek hızlarını gösterebilir ve hemen yanıt verebilirsiniz; önce işi durdurmalı, tartışmayı sonra yapmalısınız.

Uygulama planı

Pratik bir uygulama planı

İlk denemeden kararlı, izlenen bir işleyişe dört adım.

  1. Kaynakları envanterleyin ve sınıflandırın

    Her kaynağı robots.txt kuralları, koşulları, resmî API’si veya dışa aktarımı ve AAAA kaydı yayımlayıp yayımlamadığıyla (DNS sorgulama aracıyla kontrol edin) listeleyin. Toplamanıza izin verilmeyen her şeyi çıkarın veya yeniden tasarlayın.

  2. Katmanları ve bütçeleri atayın

    Her kaynağa bir havuz, alan adı başına bir istek tavanı ve günlük bir bayt bütçesi verin; bunları koda değil yapılandırmaya yazın.

  3. Yüzde birle pilot yapın

    Planlanan hacmin yüzde birini birkaç gün çalıştırın. Sayfa başına baytı, durum dağılımını ve yinelenenleri ölçün, ardından plan boyutunu ölçülen verilerden yeniden hesaplayın.

  4. Otomatik geri çekilmeyle adım adım ölçekleyin

    Hacmi aşamalar halinde artırın; 403 ve 429 oranları için uyarılar ve kaynak başına otomatik duraklatma kurun, her hafta bin kayıt başına maliyeti gözden geçirin.

Çalışılmış senaryolar

Pratikte nasıl görünür

Örnek niteliğindedir — sayılar ölçülmüş sonuç değil, mantığı göstermek için varsayımlardır.

Hoşgörülü bir dizin, günde 120,000 sayfa

Bu, saniyede yaklaşık 1.4 istektir. IP başına beş saniyede bir istekle yedi adres bunu taşır; bu yüzden aylık 250 TRY’lik 30 IP’lik datacenter paketi zaten bol bol yeter. Önemli olan sınır dizin üzerindeki yüktür; bu yüzden ekip toplam hızı sınırlıyor ve getirmeleri güne yayıyor (açıklayıcı rakamlar).

Üç ülke, haftalık taramalar

Bir ekip, ülke hedeflemeli residential IP’ler üzerinden her hafta üç ülkenin her birinde 5,000 listeleme sayfasını örnekliyor; sayfa başına varsayılan 150 KB ile yalnızca HTML getiriyor. Bir tarama 3 × 5,000 × 150 KB, yaklaşık 2.25 GB; dört tarama yaklaşık 9 GB kullanır ve 650 TRY’lik 10 GB plan, yeniden denemeler için az bir payla uyar.

IPv6 destekli bir kaynak

Bir kaynak AAAA kayıtları yayımlıyor ve bu, DNS sorgulama aracıyla doğrulandı. Ekip aylık 300 TRY’lik 500 IP’lik IPv6 paketini test ediyor; ancak tüm adresler tek bir /64’ü paylaştığından tüm havuza tek bir token bucket uyguluyor ve taahhüt etmeden önce başarı oranlarını 400 TRY’lik 100 IP’lik datacenter paketiyle karşılaştırıyor.

Ne ölçmeli

Sorunlar sürpriz değil sayı olarak görünsün diye ilk günden itibaren izleyin.

  • Kaynak başına durum sınıfına göre başarı oranı: 2xx yanıtlarının 403, 429 ve 5xx’e oranı, saatlik izlenir.
  • Başarılı kayıt başına bayt; doğrudan GB planı maliyetine dönüşür ve ayrıştırıcıların ya da yeniden denemelerin trafiği ne zaman boşa harcadığını gösterir.
  • Havuz katmanına göre 1,000 kayıt başına TRY cinsinden maliyet; bir kaynağı başka bir havuza taşımanın ne zaman karşılığını verdiğini görmenizi sağlar.
  • Veri tazeliği: her kaynağın veri setindeki en eski kaydın yaşı, yenileme hedefiyle karşılaştırılır.
  • Yinelenen kayıt ve ayrıştırma hatası oranları; çünkü sessiz düzen değişiklikleri ve tekrarlanan getirmeler, veri eklemeden maliyeti şişirir.

Sık yapılan hatalar

Bütçeyi boşa harcayan veya erişimin engellenmesine yol açan kalıplar.

  • IP sayısını kaynağın hoşgörüsü yerine eşzamanlılığa göre belirlemek; bu ya kaynağı aşırı yükler ya da harcamayı boşa harcar.
  • Tek bir IPv6 /64 içindeki binlerce adresi bağımsız kimlikler olarak görmek; oysa öneke göre sınırlayan bir savunma tek bir istemci görür.
  • GB planlarında sınırsız yeniden deneme çalıştırmak; bir engelleme, aylık kotayı saatler içinde tüketen bir yeniden deneme fırtınasına dönüşebilir.
  • Hiç köken bilgisi saklamamak; bu yüzden bir kaynak ya da bir düzenleyici sorduğunda bir kaydı açıklayamaz, düzeltemez veya silemezsiniz.
  • Kişisel veriyi “herkese açık olduğu için” toplamak; bu, veri koruma hukuku kapsamında yine de bir hukuki dayanak gerektirebilir.

Pratik ipuçları

  • Her kayıtla birlikte kaynak URL’yi, zamanı, IP türünü ve ülkeyi saklayın.
  • 429 ve 403 yanıtlarında otomatik olarak geri çekilin.
  • Resmî API’leri ve toplu dışa aktarımları tercih edin.
  • Hukuki dayanağınız yoksa kişisel verileri hattınızın dışında tutun.

Proxy’leri sorumlu kullanın

Herkese açık verileri yasal ve saygılı biçimde toplayın: robots.txt’ye ve şartlara uyun, veri koruma mevzuatına uygun davranın ve hizmetleri aşırı yüklemekten kaçının.

SSS

Sık sorulan sorular

IPv6 ile IPv4 arasında nasıl seçim yaparım?

IPv6 sunan ve çok büyük adres sayısına ihtiyaç duyan kaynaklar için IPv6; evrensel erişim için IPv4.

Rotating proxy’ler toplamayı yasal yapar mı?

Hayır. Yasallık, proxy’ye değil neyi nasıl topladığınıza bağlıdır.

Bant genişliği bütçesini nasıl planlamalıyım?

Gerçek sayfalardan örnek alın, baytları ölçün, sonra çarpın. Görselleri ve betikleri engellemek kullanımı büyük ölçüde azaltabilir.

robots.txt’e uymak zorunda mıyım?

robots.txt bir yasa değil, bir gelenektir; ancak site sahibinin isteklerini ifade eder ve onu yok saymak kullanım koşullarını ihlal edebilir ya da bir anlaşmazlıkta konumunuzu zayıflatabilir. Ona uymanızı ve varsa resmî bir API veya dışa aktarım kullanmanızı öneririz. Bu genel bir rehberdir, hukuki tavsiye değildir.

Bir kaynağın IPv6 üzerinden çalışıp çalışmadığını nasıl anlarım?

AAAA kayıtlarını DNS sorgulama aracıyla arayın: AAAA kaydı yoksa site yalnızca IPv4’tür ve yalnızca IPv6 çıkışı genellikle ona ulaşamaz. Kayıt gerekli ama yeterli değildir, bu yüzden paket üzerinden küçük bir test çalıştırın. Sağlayıcı IPv6 için HTTP ve HTTPS listeler; SOCKS5 doğrulanmamıştır.

Uzun bir tarama yeniden başladığında GB’ları boşa harcamaktan nasıl kaçınırım?

Kuyruğunuzu ve getirilen URL’lerin ETag’i veya içerik karmasıyla birlikte bir kaydını kalıcı olarak saklayın; böylece yeniden başlatma tekrarlamak yerine kaldığı yerden devam eder. Getirmeleri idempotent yapın ve URL’leri kuyruğa almadan önce tekilleştirin. Residential GB planlarında tekrarlanan her sayfa gerçek para tutar ve bu planların 30 günlük kullanım süresi de vardır; bu yüzden getirmelerinizi buna sığacak şekilde planlayın.

Kurumsal

Hacim, özel lokasyonlar veya satın alma sürecine uygun bir kurulum mu gerekiyor?

Yüksek IP sayıları, uzun sözleşmeler ve özel devreye alma için satış ekibiyle görüşün. Hedef ülkelerinizi ve trafik profilinizi bize iletin, size uygun bir çözüm önerelim.