Solusi

Proxy untuk web scraping yang andal

Scraper gagal karena alasan yang bisa diprediksi: terlalu banyak permintaan dari satu alamat, alamat yang tampak otomatis, dan sesi yang putus di tengah jalan. Jenis proxy yang tepat memperbaiki dua masalah pertama; desain scraper yang baik memperbaiki yang ketiga.

Web Scraping
Proxy ResidensialMulai dari TRY 350 / bulan

Tantangan

Apa yang membuat pekerjaan ini sulit

  • Batas laju per IP

    Situs membatasi jumlah permintaan yang boleh dikirim satu alamat. Jika trafik dipusatkan pada satu IP, Anda akan dibatasi atau diblokir dalam hitungan menit.

  • Penilaian reputasi IP

    Situs yang dijaga ketat mengklasifikasikan alamat sebagai datacenter, residensial, atau seluler dan memperlakukannya secara berbeda sejak permintaan pertama.

  • Konten bergantung geografi

    Harga, ketersediaan, dan hasil berubah menurut negara pengunjung, sehingga scraper dengan satu lokasi hanya melihat satu versi web.

Pendekatan

Bagaimana proxy yang tepat membantu

  1. Cocokkan jenis IP dengan target

    Gunakan IP datacenter untuk situs yang toleran dan API, IP residensial rotating untuk situs konsumen yang dilindungi, dan IP ISP ketika identitas stabil penting.

  2. Rotasi atau tetap, dengan sengaja

    Rotasi per permintaan untuk pengambilan tanpa status; gunakan sesi sticky ketika login, keranjang, atau alur berhalaman harus mempertahankan satu alamat.

  3. Targetkan negara yang tepat

    Paket residensial mencantumkan penargetan tingkat negara sehingga Anda mengumpulkan versi halaman yang dilihat audiens Anda.

Secara mendalam

Detail yang menentukan hasil

Menentukan ukuran scraper: anggaran IP dan anggaran bandwidth

Setiap pekerjaan scraping punya dua batas yang independen. Anggaran IP adalah berapa banyak permintaan per menit yang boleh dikirim satu alamat sebelum target membatasinya; Anda harus mengukur angka itu sendiri, tetapi untuk situs contoh anggap saja 4. Anggaran bandwidth adalah jumlah byte yang Anda pindahkan, yang hanya penting pada paket berkuota. Ambil beban kerja ilustratif 24,000 halaman per hari, sekitar 17 permintaan per menit. Dengan 4 permintaan per menit per IP, dibutuhkan sekitar lima alamat, sehingga bahkan paket Proxy Datacenter IPv4 terkecil, 30 IP seharga 250 TRY per bulan, menjalankan tiap alamat pada sekitar 0.6 permintaan per menit.

Penagihan residensial membalik hitungannya, karena Anda membayar per gigabyte, bukan per alamat. Dengan 24,000 halaman yang sama pada ilustrasi 150 KB per halaman, totalnya 3.6 GB per hari, atau 108 GB dalam periode 30 hari. Itu melampaui paket 100 GB (3,500 TRY) sebesar 8 persen dan akan mendorong Anda ke paket 200 GB (7,000 TRY), sehingga memangkas gambar, font, dan tracker lebih bernilai daripada kelihatannya. Jika muat dalam 100 GB, biayanya sekitar 0.005 TRY per halaman, dibandingkan sekitar 0.0003 TRY pada paket datacenter 30 IP.

Pekerjaan yang sangat besar dan stabil membalik logikanya lagi. Paket residensial rotating tanpa batas menukar harga tetap dengan trafik tanpa batas: paket bulanan seharga 75,000 TRY, setara 2,500 GB pada tarif paket 300 GB sebesar 30 TRY per GB, atau sekitar 83 GB per hari. Di bawah volume itu, paket GB lebih murah; di atasnya, paket tanpa batas menang di atas kertas. Ketentuan untuk penggunaan tanpa batas, seperti batas penggunaan wajar atau batas konkurensi, tidak dipublikasikan di situs ini, jadi tanyakan kepada tim penjualan di WhatsApp sebelum membangun pipeline berdasarkan asumsi itu.

SituasiBatas yang mengikatKeluarga paket yang dihitung lebih dulu
Situs toleran, jumlah halaman sangat tinggiPermintaan per menit per IPPaket Proxy Datacenter IPv4 (30 hingga 1,000 IP)
Situs konsumen terproteksi, volume sedangGigabyte dan tingkat pemblokiranPaket Proxy Residensial (5 hingga 300 GB)
Situs terproteksi, volume sangat tinggi yang stabilBiaya per GB pada skala besarResidensial rotating tanpa batas (harian, mingguan, bulanan)
Konten jaringan seluler atau endpoint yang dipercaya operatorKepercayaan alamat dan kuotaPaket seluler rotating (5, 10, 100 GB) atau bulanan tanpa batas
Login Anda sendiri di balik identitas yang stabilKontinuitas sesiProxy ISP (IP Turki statis)

Desain sesi, retry, dan backoff

Tentukan rotasi berdasarkan unit state, bukan kebiasaan. Fetch tanpa state, seperti halaman produk atau hasil pencarian, dapat keluar dari IP yang berbeda setiap kali. Alur yang punya state, seperti login, token paginasi yang terikat sesi, atau keranjang belanja, harus tetap di satu alamat, jadi minta sesi sticky pada paket Proxy Residensial atau gunakan IP Proxy ISP statis. Simpan satu cookie jar per IP keluar, karena memutar ulang cookie satu alamat dari alamat lain adalah penyebab umum sesi dibatalkan. Dengan paket datacenter, Anda sendiri yang melakukan rotasi, misalnya round-robin dengan cooldown per IP.

Tangani kegagalan menurut kelasnya. Error koneksi, timeout, dan respons 407 (autentikasi proxy diperlukan) menunjuk ke jalur proxy atau kredensial Anda, bukan pemblokiran. Respons 403, 429, atau halaman 200 yang berisi tantangan menunjuk ke target. Untuk 429, patuhi header Retry-After bila ada; jika tidak, lakukan backoff eksponensial dengan jitter acak, misalnya sekitar 2, 4, 8, dan 16 detik, lalu ulangi dari IP yang berbeda alih-alih terus menghantam IP yang sama. Batasi retry menjadi tiga atau empat per URL agar pemblokiran yang menetap tidak menghabiskan paket GB.

Proxy hanya mengubah jalur jaringan. Handshake TLS klien HTTP Anda, urutan header, dan versi protokol tetap sampai ke target tanpa berubah melalui tunnel CONNECT, sehingga klien yang terlihat seperti skrip tetap terlihat seperti skrip meski memakai IP residensial. Jaga agar header tetap koheren, dengan User-Agent browser yang nyata dan Accept-Language yang sesuai, gunakan ulang koneksi dengan keep-alive agar tidak ada handshake baru per permintaan, dan pakai headless browser hanya jika halaman benar-benar membutuhkan JavaScript, karena render penuh biasanya memakan beberapa kali lipat byte dari HTML mentahnya.

Kode status 200 bukan bukti keberhasilan. Hitung sebuah respons hanya jika berisi field yang Anda harapkan.

Memantau armada dan membuktikan bahwa semuanya berfungsi

Verifikasi setiap endpoint sebelum eksekusi produksi pertama. Pemeriksa proxy gratis menerima hingga 10 proxy per permintaan, mendeteksi HTTP atau SOCKS5 secara otomatis, dan melaporkan IP keluar, latensi, serta kode error, sehingga Anda dapat menyaring satu batch sekaligus. Kode-kodenya memisahkan penyebab dengan jelas: auth berarti kredensial salah, refused atau timeout berarti endpoint atau port tidak dapat dijangkau, dan connect_denied atau tls menunjuk ke tunnel itu sendiri. Lalu buka pemeriksa alamat IP di browser yang memakai proxy untuk memastikan alamat yang akan dilihat target, dan ulangi pada endpoint rotating untuk memastikan alamatnya berganti.

Di produksi, catat satu baris per permintaan: domain target, jenis IP, IP keluar atau hash-nya, kode status, byte, latensi, jumlah retry, dan flag konten valid. Dari tabel itu Anda dapat menghitung tingkat pemblokiran per domain dan per jenis IP lalu mengeluarkan alamat yang gagal dari daftar Anda, misalnya yang respons validnya di bawah 80 persen dalam sedikitnya 100 permintaan, ambang batas yang sebaiknya Anda sesuaikan dengan target. Beri peringatan berdasarkan tren, bukan kegagalan tunggal: tingkat pemblokiran yang berlipat dua dalam satu jam biasanya berarti perubahan aturan di target, bukan gangguan jaringan.

Rotasi menyebar beban; rotasi tidak memberi izin. Jika sebuah situs meminta Anda berhenti atau menawarkan feed resmi, gunakan feed itu.

Panduan kerja

Rencana penerapan yang praktis

Empat langkah dari uji coba pertama hingga operasi yang stabil dan terpantau.

  1. Cari sumber yang disahkan terlebih dahulu

    Periksa apakah ada API, feed, atau ekspor massal resmi, dan baca robots.txt serta ketentuan layanan sebelum membangun apa pun. Field yang benar-benar Anda butuhkan sering menentukan seluruh desainnya.

  2. Jalankan pilot per jenis IP

    Ambil 500 hingga 1,000 URL representatif pada jenis kandidat termurah dan catat tingkat konten valid, byte per halaman, dan latensi. Naik ke jenis berikutnya hanya jika hasilnya tidak memenuhi ambang batas Anda.

  3. Tetapkan batas per domain

    Tentukan konkurensi maksimum, permintaan per menit, dan cooldown per IP, dengan jeda ber-jitter dan backoff eksponensial pada respons 429 dan 5xx.

  4. Skalakan bertahap dan tinjau setiap minggu

    Gandakan volume hanya selama tingkat pemblokiran tetap di bawah ambang batas Anda, dan bandingkan biaya per seribu halaman valid setiap minggu agar perubahan paket menjadi keputusan berbasis data.

Skenario terperinci

Seperti apa di lapangan

Contoh ilustrasi — angka adalah asumsi untuk menunjukkan alur pikir, bukan hasil pengukuran.

Crawl direktori publik

Sebuah tim riset meng-crawl 300,000 halaman direktori publik selama seminggu, sekitar 1,800 per jam. Mereka menyebar pekerjaan ke 100 IP dalam satu paket Proxy Datacenter IPv4 (400 TRY per bulan), sekitar 18 permintaan per jam per IP, dengan rotasi round-robin dan cooldown. Lajunya hanya ilustrasi: toleransi sebenarnya dari situs itu harus diukur dalam pilot.

Halaman kategori ritel yang terproteksi

Pilot terhadap sebuah peritel yang menolak rentang datacenter menghasilkan halaman valid untuk 40 persen permintaan dari IP datacenter dan 95 persen dari IP residensial (angka ilustratif). Pada sekitar 200 KB per halaman, paket Proxy Residensial 50 GB (2,500 TRY) mencakup sekitar 250,000 halaman, atau 0.01 TRY per halaman. Tim hanya memakai residensial untuk peritel ini dan mempertahankan IP datacenter untuk sisanya.

Ekspor terautentikasi dari portal mitra

Sebuah tim keuangan mengunduh laporan harian dari portal mitra yang kredensialnya mereka miliki dan yang ketentuannya mengizinkan ekspor otomatis. Karena portal mengikat sesi ke sebuah alamat, pekerjaan itu dikunci ke satu IP statis dari paket Proxy ISP 3 IP (180 TRY per bulan) dengan satu cookie jar. Alamat lain berisiko memicu permintaan autentikasi ulang pada setiap eksekusi.

Apa yang perlu diukur

Pantau sejak hari pertama agar masalah muncul sebagai angka, bukan kejutan.

  • Tingkat konten valid per domain dan jenis IP, dihitung dari keberadaan field yang diharapkan, bukan dari HTTP 200.
  • Tingkat pemblokiran, yaitu porsi permintaan yang berakhir dengan 403, 429, atau halaman tantangan, dilacak per jenis IP dan per jam.
  • Biaya per 1,000 halaman valid, menggabungkan harga paket, retry, dan byte yang terbuang.
  • Rata-rata dan persentil ke-95 byte per halaman, yang menentukan ukuran paket GB.
  • Rasio retry dan latensi persentil ke-95, karena nilai yang naik menandakan pembatasan sebelum pemblokiran keras muncul.

Kesalahan umum

Pola yang menghabiskan anggaran atau membuat akses diblokir.

  • Menganggap HTTP 200 sebagai keberhasilan, sehingga soft block dan template kosong mencemari dataset tanpa disadari.
  • Merotasi IP di tengah alur yang membutuhkan state, yang membatalkan token dan memaksa autentikasi ulang.
  • Langsung mencoba ulang pada IP yang sama setelah 429, yang mengubah pembatasan laju menjadi pemblokiran.
  • Mengunduh gambar, font, dan tracker pada paket berbasis GB, melipatgandakan biaya tanpa nilai data.
  • Membeli berdasarkan ukuran pool alih-alih toleransi per IP yang terukur, sehingga kapasitas terbuang atau terlalu tipis.

Tips praktis

  • Patuhi robots.txt dan ketentuan yang dipublikasikan; banyak situs menyediakan API.
  • Batasi laju per domain dan tambahkan jitter alih-alih mengirim dalam lonjakan.
  • Blokir gambar dan media untuk menghemat bandwidth pada paket yang diukur per GB.
  • Catat kode status HTTP per IP agar Anda dapat mendeteksi pemblokiran lebih awal.

Gunakan proxy secara bertanggung jawab

Kumpulkan hanya data yang boleh Anda akses, patuhi batas laju dan hukum privasi, dan jangan pernah memakai proxy untuk menyerang, membebani, atau menipu sebuah layanan. Penyalahgunaan dapat mengakhiri akses Anda.

Proxy mana yang terbaik untuk scraping?

Tergantung targetnya. Datacenter untuk situs yang toleran, residensial rotating untuk yang dilindungi, ISP untuk sesi yang stabil. Tabel perbandingan di beranda merangkum pertimbangannya.

Berapa banyak proxy yang saya butuhkan?

Bagi jumlah permintaan per menit yang Anda butuhkan dengan laju aman per IP untuk target tersebut. Mulai dari kecil, ukur tingkat pemblokiran, lalu tingkatkan skala.

Apakah scraping legal?

Tergantung pada datanya, ketentuan situs, dan yurisdiksi Anda. Mintalah nasihat hukum untuk proyek komersial; proxy tidak mengubah legalitas.

Apakah saya harus membangun rotasi sendiri dengan paket datacenter?

Ya. Paket Proxy Datacenter IPv4 memberi Anda daftar alamat statis dengan autentikasi username dan password, dan tidak ada rotasi otomatis. Lakukan rotasi di kode Anda sendiri, misalnya round-robin dengan cooldown per IP. Endpoint residensial rotating mengganti alamat keluar untuk Anda.

Sebaiknya memakai HTTP atau SOCKS5 untuk scraper?

Sebagian besar pustaka scraping mendukung proxy HTTP secara native, dan halaman HTTPS melewatinya sebagai tunnel CONNECT. SOCKS5 berguna untuk trafik non-HTTP atau alat yang hanya mendukungnya. Untuk paket datacenter dan residensial, dukungan protokol berasal dari daftar penyedia dan tidak ada pemilih protokol saat checkout, jadi konfirmasikan protokol Anda kepada tim penjualan di WhatsApp sebelum membangun sistem di atasnya.

Bagaimana cara men-scrape halaman yang sarat JavaScript tanpa menghabiskan paket GB?

Pertama, cari data terstruktur yang tertanam di halaman, atau endpoint JSON yang dipanggil halaman itu sendiri secara publik, yang jauh lebih ringan daripada render penuh. Jika Anda membutuhkan headless browser, blokir gambar, font, dan media, serta cache aset statis di antara eksekusi. Ukur byte per halaman pada sampel kecil sebelum memilih ukuran paket.

Enterprise

Butuh volume besar, lokasi khusus, atau skema yang ramah pengadaan?

Bicarakan dengan tim penjualan tentang jumlah IP besar, kontrak jangka panjang, dan onboarding khusus. Sampaikan negara tujuan dan profil trafik Anda, dan kami akan mengusulkan solusi yang cocok.