Solusi

Proxy untuk pengumpulan data

Riset, analitik, dan pipeline machine learning bergantung pada data publik dalam volume besar. Proxy membuat pengumpulan lebih dapat diprediksi dengan menghilangkan hambatan per IP dan menyediakan sudut pandang regional yang dibutuhkan dataset Anda.

Pengumpulan Data
Proxy Datacenter IPv4Mulai dari TRY 250 / bulan

Tantangan

Apa yang membuat pekerjaan ini sulit

  • Hambatan throughput

    Satu IP membatasi jumlah halaman per menit yang dapat ditarik pipeline mana pun dari satu sumber.

  • Keragaman sumber

    Sebagian sumber menyambut otomatisasi sementara yang lain menyaring alamat datacenter dengan agresif.

  • Cakupan dan bias

    Mengumpulkan dari satu lokasi menghasilkan dataset yang bias ketika konten bervariasi menurut wilayah.

Pendekatan

Bagaimana proxy yang tepat membantu

  1. Bagi IP Anda dalam tingkatan

    Arahkan trafik massal ke IP datacenter atau IPv6 dan sisihkan residensial untuk sumber yang membutuhkannya.

  2. Distribusikan menurut wilayah

    Gunakan penargetan residensial untuk mengambil sampel konten sebagaimana tampil di setiap negara yang diminati.

  3. Rencanakan seputar rotasi

    Pilih kumpulan rotating untuk crawling tanpa status dan IP statis untuk pengumpulan yang memerlukan autentikasi.

Secara mendalam

Detail yang menentukan hasil

Desain pipeline: biarkan sumber yang menentukan kumpulan IP

Pipeline pengumpulan lebih mudah dijalankan jika setiap sumber dideskripsikan sekali dalam konfigurasi dan semua hal lain mengikutinya. Profil sumber memuat domain, tingkat kumpulan IP, jumlah permintaan bersamaan maksimum, jeda minimum antarpermintaan, kebijakan retry, dan versi parser. Penjadwal mengisi antrean per domain, worker mengambil dari antrean itu dengan batas-batas tersebut, dan router memasangkan proxy yang disebutkan profil. Ketika suatu sumber mulai memblokir, Anda mengubah satu profil alih-alih mengedit kode, dan Anda bisa melihat dengan tepat kumpulan IP mana yang bertanggung jawab atas biaya.

Pembagian tingkat kemudian menjadi pencarian dalam tabel. Sumber yang terbuka dan toleran diarahkan ke IP datacenter, di mana trafik tercantum tanpa batas dan tagihan bulanan datar. Sumber yang melayani IPv6 dan membutuhkan banyak alamat dapat memakai paket IPv6, dengan satu catatan penting: semua alamat berasal dari satu subnet /64, dan sebagian pertahanan menerapkan batas pada seluruh prefiks, bukan pada tiap alamat, sehingga 2,500 alamat bisa berperilaku seperti satu klien. Sumber yang dilindungi diarahkan ke IP residensial rotating yang ditagih per GB. Sumber yang membutuhkan login memakai IP statis agar sesi tetap memegang satu alamat.

Jenis sumberKumpulan IPDasar penagihanKisaran harga (TRY per bulan)
Toleran, massalDatacenter IPv4Datar; trafik tercantum tanpa batas30 IP: 250 · 1,000 IP: 2,000
Mendukung IPv6, haus alamatIPv6 (satu /64)Datar; HTTP dan HTTPS tercantum100 IP: 100 · 15,000 IP: 2,250
Dilindungi, bervariasi per negaraResidensial rotatingPer GB, periode pemakaian 30 hari5 GB: 350 · 300 GB: 9,000
Perlu loginISP statisPer IP; bulanan hingga 12 bulan3 IP: 180 · 1,000 IP: 30,000

Aritmetika anggaran: permintaan, byte, dan kesopanan

Mulailah dari volume yang Anda butuhkan dan hitung mundur. Contoh ilustrasi: 500,000 halaman per hari rata-rata sekitar 5.8 permintaan per detik. Dengan asumsi 1.2 detik per respons, itu membutuhkan sekitar tujuh permintaan yang berjalan bersamaan, yang dapat ditangani kumpulan worker kecil mana pun. Jumlah IP kemudian ditentukan oleh kesopanan, bukan konkurensi. Jika suatu sumber menoleransi satu permintaan setiap sepuluh detik per alamat, Anda membutuhkan sekitar 58 alamat untuk sumber itu saja, sehingga paket datacenter 100 IP seharga 400 TRY per bulan mencukupinya dengan ruang lebih.

Sekarang hitung biaya pekerjaan yang sama berdasarkan byte. Asumsikan dokumen HTML yang diambil rata-rata 40 KB: 500,000 halaman adalah 20 GB per hari, atau sekitar 600 GB per bulan. Pada paket residensial per GB seharga 30 hingga 70 TRY per GB, itu tagihan yang sangat berbeda dari paket datacenter datar, dan itulah sebabnya trafik residensial sebaiknya dicadangkan untuk sumber yang memang membutuhkannya. Kurangi byte jika ketentuan mengizinkan: minta respons terkompresi dengan Accept-Encoding, kirim If-None-Match atau If-Modified-Since agar halaman yang tidak berubah mengembalikan 304 yang sangat kecil, dan lewati gambar, font, serta skrip yang tidak Anda parse.

Kesopanan juga melindungi Anda. Kumpulan 58 alamat yang masing-masing mengirim satu permintaan setiap sepuluh detik tetap mengirimkan 5.8 permintaan per detik ke sumber, yang merupakan beban nyata bagi situs kecil. Batasi laju agregat per domain, bukan hanya laju per IP, dan sebarkan pekerjaan besar sepanjang hari. Lakukan back off eksponensial pada respons 429 dan 5xx, hormati Retry-After bila ada, dan jeda sebuah sumber sepenuhnya ketika tingkat galatnya melewati ambang yang Anda tetapkan. Retry melipatgandakan biaya pada paket GB, jadi batas retry adalah kendali anggaran sekaligus tata krama.

Ukur byte per halaman pada target Anda sendiri sebelum memilih paket; angka di atas hanyalah asumsi, bukan nilai umum.

Kepatuhan dan tata kelola data di dalam pipeline

Kepatuhan paling mudah ditegakkan oleh pipeline, bukan diingat oleh manusia. Ambil dan simpan robots.txt setiap domain, segarkan setiap hari, dan buat fetcher menolak jalur yang dilarang. Simpan catatan hasil tinjauan atas ketentuan setiap sumber beserta penanda apakah API resmi atau ekspor massal tersedia; jika ada, gunakan itu, karena lebih murah, lebih cepat, dan tidak ambigu. Jika suatu sumber menyediakan cara untuk mengidentifikasi crawler Anda atau alamat kontak untuk akses massal, gunakan saluran itu alih-alih mengakali situs.

Tentukan apa yang tidak akan Anda simpan. Publik bukan berarti bebas kewajiban: nama, alamat email, foto, dan detail serupa dapat menjadi data pribadi menurut undang-undang seperti GDPR atau KVKK di Turki, dan mengumpulkannya dapat memerlukan dasar hukum meskipun terlihat secara terbuka. Pilih pipeline yang hanya mengekstrak kolom yang Anda butuhkan, membuang sisanya saat parsing, dan menerapkan batas retensi. Ini informasi umum, bukan nasihat hukum; untuk dataset komersial yang melibatkan orang, dapatkan nasihat dari pihak yang berkualifikasi sebelum pengumpulan dimulai.

Terakhir, buat setiap rekaman dapat dilacak. Simpan URL sumber, waktu pengambilan dalam UTC, status HTTP, tingkat kumpulan IP, negara keluar, dan versi parser bersama setiap baris. Catatan asal-usul (provenance) memungkinkan Anda menghapus semua data dari suatu sumber jika ia keberatan, mereproduksi angka yang dipertanyakan pemangku kepentingan, dan mendeteksi saat sampel khusus wilayah condong mendistorsi dataset. Ini juga memberi Anda bukti perilaku yang baik: jika pemilik situs menghubungi Anda, Anda dapat menunjukkan laju permintaan dan merespons dengan cepat, dan Anda sebaiknya menghentikan pekerjaan lebih dulu lalu berdiskusi setelahnya.

Panduan kerja

Rencana penerapan yang praktis

Empat langkah dari uji coba pertama hingga operasi yang stabil dan terpantau.

  1. Inventarisasi dan klasifikasikan sumber

    Daftarkan setiap sumber beserta aturan robots.txt, ketentuan, API atau ekspor resminya, dan apakah ia menerbitkan record AAAA (periksa dengan alat pencarian DNS). Singkirkan atau rancang ulang apa pun yang tidak boleh Anda kumpulkan.

  2. Tetapkan tingkat dan anggaran

    Beri setiap sumber satu kumpulan IP, batas permintaan per domain, dan anggaran byte harian, lalu tulis semuanya dalam konfigurasi, bukan dalam kode.

  3. Uji coba pada satu persen

    Jalankan satu persen dari volume yang direncanakan selama beberapa hari. Ukur byte per halaman, campuran status, dan duplikat, lalu hitung ulang ukuran paket dari data terukur.

  4. Naikkan skala bertahap dengan backoff otomatis

    Tingkatkan volume secara bertahap, dengan peringatan pada tingkat 403 dan 429 serta jeda otomatis per sumber, dan tinjau biaya per seribu rekaman setiap minggu.

Skenario terperinci

Seperti apa di lapangan

Contoh ilustrasi — angka adalah asumsi untuk menunjukkan alur pikir, bukan hasil pengukuran.

Direktori yang toleran, 120,000 halaman per hari

Itu sekitar 1.4 permintaan per detik. Pada satu permintaan setiap lima detik per IP, tujuh alamat sudah cukup, jadi paket datacenter 30 IP seharga 250 TRY per bulan sudah sangat memadai. Batas yang penting adalah beban pada direktori, sehingga tim membatasi laju agregat dan menyebarkan pengambilan sepanjang hari (angka ilustrasi).

Tiga negara, penyisiran mingguan

Sebuah tim mengambil sampel 5,000 halaman listing di masing-masing tiga negara setiap minggu melalui IP residensial dengan penargetan negara, hanya mengambil HTML dengan asumsi 150 KB per halaman. Satu penyisiran adalah 3 × 5,000 × 150 KB, sekitar 2.25 GB, sehingga empat penyisiran memakai sekitar 9 GB dan paket 10 GB seharga 650 TRY cukup, dengan sedikit ruang untuk retry.

Sumber yang mendukung IPv6

Sebuah sumber menerbitkan record AAAA, dikonfirmasi dengan alat pencarian DNS. Tim menguji paket IPv6 500 IP seharga 300 TRY per bulan, tetapi karena semua alamat berbagi satu /64, mereka menerapkan satu token bucket untuk seluruh kumpulan, dan membandingkan tingkat keberhasilan dengan paket datacenter 100 IP seharga 400 TRY sebelum berkomitmen.

Apa yang perlu diukur

Pantau sejak hari pertama agar masalah muncul sebagai angka, bukan kejutan.

  • Tingkat keberhasilan per kelas status untuk setiap sumber: persentase respons 2xx dibandingkan 403, 429, dan 5xx, dilacak per jam.
  • Byte per rekaman yang berhasil, yang langsung terkonversi ke biaya paket GB dan menunjukkan kapan parser atau retry memboroskan trafik.
  • Biaya per 1,000 rekaman dalam TRY, per tingkat kumpulan IP, agar Anda tahu kapan memindahkan sumber ke kumpulan lain menguntungkan.
  • Kesegaran data: usia rekaman tertua dalam dataset setiap sumber dibandingkan dengan target penyegaran.
  • Tingkat duplikat dan kegagalan parsing, karena perubahan tata letak yang diam-diam dan pengambilan berulang sama-sama menggelembungkan biaya tanpa menambah data.

Kesalahan umum

Pola yang menghabiskan anggaran atau membuat akses diblokir.

  • Menentukan jumlah IP dari konkurensi, bukan dari toleransi sumber, yang membuat sumber kelebihan beban atau pengeluaran terbuang.
  • Memperlakukan ribuan alamat dalam satu /64 IPv6 sebagai identitas independen, padahal pertahanan yang membatasi berdasarkan prefiks melihatnya sebagai satu klien.
  • Menjalankan retry tanpa batas pada paket GB, di mana satu pemblokiran dapat berubah menjadi badai retry yang menghabiskan kuota bulanan dalam hitungan jam.
  • Tidak menyimpan asal-usul data, sehingga Anda tidak dapat menjelaskan, mengoreksi, atau menghapus sebuah rekaman ketika sumber atau regulator memintanya.
  • Mengumpulkan data pribadi “karena bersifat publik”, yang tetap dapat memerlukan dasar hukum menurut undang-undang perlindungan data.

Tips praktis

  • Simpan URL sumber, waktu, jenis IP, dan negara pada setiap rekaman.
  • Mundur secara otomatis saat menerima respons 429 dan 403.
  • Utamakan API resmi dan ekspor massal.
  • Jangan masukkan data pribadi ke pipeline Anda kecuali Anda memiliki dasar hukum.

Gunakan proxy secara bertanggung jawab

Kumpulkan data publik secara sah dan santun: patuhi robots.txt dan ketentuan, ikuti hukum perlindungan data, dan hindari membebani layanan.

Bagaimana memilih antara IPv6 dan IPv4?

IPv6 untuk sumber yang melayani IPv6 dan membutuhkan jumlah alamat sangat besar; IPv4 untuk jangkauan universal.

Apakah proxy rotating membuat pengumpulan data menjadi legal?

Tidak. Legalitas bergantung pada apa yang Anda kumpulkan dan bagaimana caranya, bukan pada proxy.

Bagaimana saya menganggarkan bandwidth?

Ambil sampel halaman nyata, ukur byte-nya, lalu kalikan. Memblokir gambar dan skrip dapat mengurangi pemakaian secara drastis.

Apakah saya harus mengikuti robots.txt?

robots.txt adalah konvensi, bukan undang-undang, tetapi ia menyatakan keinginan pemilik situs, dan mengabaikannya dapat melanggar ketentuan penggunaan atau melemahkan posisi Anda dalam sengketa. Kami menyarankan untuk menghormatinya, dan memakai API atau ekspor resmi bila tersedia. Ini panduan umum, bukan nasihat hukum.

Bagaimana saya tahu apakah suatu sumber berfungsi lewat IPv6?

Cari record AAAA-nya dengan alat pencarian DNS: tanpa record AAAA, situs hanya mendukung IPv4, dan jalur keluar khusus IPv6 biasanya tidak dapat menjangkaunya. Record itu perlu tetapi belum cukup, jadi jalankan uji kecil melalui paket tersebut. Penyedia mencantumkan HTTP dan HTTPS untuk IPv6; SOCKS5 belum terkonfirmasi.

Bagaimana cara menghindari pemborosan GB saat crawl panjang dimulai ulang?

Simpan antrean Anda dan catatan URL yang sudah diambil beserta ETag atau hash kontennya, sehingga restart melanjutkan, bukan mengulang. Buat pengambilan bersifat idempoten dan hapus duplikat URL sebelum dimasukkan ke antrean. Setiap halaman yang diulang memakan biaya nyata pada paket residensial GB, yang juga memiliki periode pemakaian 30 hari, jadi rencanakan pengambilan Anda agar sesuai dengannya.

Enterprise

Butuh volume besar, lokasi khusus, atau skema yang ramah pengadaan?

Bicarakan dengan tim penjualan tentang jumlah IP besar, kontrak jangka panjang, dan onboarding khusus. Sampaikan negara tujuan dan profil trafik Anda, dan kami akan mengusulkan solusi yang cocok.