Web Scraping dengan Proxy: Panduan yang Bertanggung Jawab

Proxy menyelesaikan batas per IP, bukan desain scraper yang buruk. Berikut cara menggabungkan keduanya secara bertanggung jawab.

13 menit baca

Scraping pada skala apa pun menghadapi masalah yang sama: situs membatasi jumlah permintaan yang bisa dilakukan satu alamat, dan memperlakukan sebagian jenis alamat dengan kecurigaan lebih besar. Proxy menjawab keduanya — tetapi hanya salah satu bagian dari scraper yang baik.

Mulai dengan etika

  • Periksa dulu apakah ada API resmi atau ekspor data.
  • Baca robots.txt dan ketentuan situs.
  • Identifikasi scraper Anda dengan jujur bila diwajibkan dan jaga laju permintaan tetap wajar.
  • Hindari mengumpulkan data pribadi tanpa dasar hukum.

Pilih jenis IP yang tepat

IP datacenter paling murah untuk situs yang toleran. IP residensial rotating membantu pada situs yang menyaring rentang hosting. IP ISP statis cocok untuk alur yang terautentikasi. Lihat panduan residensial vs datacenter untuk detailnya.

Rancang untuk kegagalan

Harapkan 429 (too many requests), 403, dan timeout. Lakukan retry dengan exponential backoff, beralih ke IP lain saat terus diblokir, dan catat status code per IP agar polanya terlihat.

Python
import random, time, requests

PROXIES = ["http://USER:PASS@HOST1:PORT", "http://USER:PASS@HOST2:PORT"]

def fetch(url, tries=4):
    for i in range(tries):
        proxy = random.choice(PROXIES)
        try:
            r = requests.get(url, proxies={"http": proxy, "https": proxy}, timeout=15)
            if r.status_code == 200:
                return r.text
            if r.status_code in (403, 429):
                time.sleep(2 ** i + random.random())
        except requests.RequestException:
            time.sleep(1 + random.random())
    return None

Kendalikan bandwidth

Pada paket yang diukur per GB, blokir gambar, font, dan media, serta ambil endpoint JSON bila memungkinkan. Ukur sebuah sampel untuk memperkirakan pemakaian bulanan Anda.

Baca aturannya sebelum menulis crawler

Mulailah dengan robots.txt, tetapi pahami apa itu. Robots Exclusion Protocol (RFC 9309) adalah file yang disajikan dari root setiap origin yang memberi tahu crawler path mana yang tidak boleh mereka minta, dikelompokkan menurut user-agent, dengan aturan cocok yang paling spesifik yang menang. Jika file mengembalikan status 4xx, crawler boleh memperlakukan situs seolah tanpa pembatasan; jika mengembalikan 5xx atau tidak dapat dijangkau, standar menyatakan untuk mengasumsikan semuanya terlarang sampai berfungsi lagi. Crawl-delay bukan bagian dari standar dan tidak semua crawler mematuhinya, tetapi jika sebuah situs mencantumkannya, perlakukan itu sebagai permintaan untuk memperlambat.

robots.txt adalah konvensi untuk crawler, bukan lisensi. Ketentuan layanan dapat membatasi akses otomatis apa pun isi file itu, dan aturan lain dapat mengatur apa yang Anda lakukan dengan data: hak cipta atas konten, hak basis data di sebagian yurisdiksi, dan hukum pelindungan data seperti GDPR di UE atau KVKK di Turki jika data tersebut mengidentifikasi orang. Ini informasi umum, bukan nasihat hukum; jika proyeknya komersial, mintalah orang yang berkualifikasi untuk menelaahnya. Jangan pernah melewati autentikasi, paywall, atau kontrol akses, dan perlakukan CAPTCHA atau halaman akses-ditolak sebagai sinyal untuk memperlambat atau berhenti, bukan sebagai rintangan yang harus dikalahkan oleh perkakas.

Alat proxyPemeriksa Header HTTPMinta sebuah URL publik dan lihat header responsnya, rantai pengalihan, dan apakah header keamanan umum tersedia.Jelajahi

Bangun pembatas laju sebelum rotasi

Pool alamat yang lebih besar tidak memberi Anda hak atas beban yang lebih besar. Server tetap menanggung setiap permintaan, dan batas dapat berlaku per akun, per cookie sesi, per blok jaringan, atau per fingerprint, bukan hanya per IP. Tetapkan anggaran per host target, bukan per proxy: batas permintaan yang sedang berjalan (dua sampai lima adalah awal yang masuk akal, sebagai ilustrasi), jeda minimum dengan jitter acak antar permintaan, dan aturan adaptif yang membagi dua laju saat menerima 429 atau 503 dan menaikkannya kembali dalam langkah kecil setelah serangkaian keberhasilan, mirip kendali kemacetan pada TCP.

Kesopanan memiliki biaya waktu yang harus Anda rencanakan dan tidak dapat dihilangkan oleh jumlah IP berapa pun. Mengambil 100.000 halaman pada 2 permintaan per detik membutuhkan 50.000 detik, sekitar 13,9 jam; pada 5 permintaan per detik membutuhkan 20.000 detik, sekitar 5,6 jam. Jika itu terlalu lambat, jawabannya adalah cakupan yang lebih sempit, pembaruan inkremental, atau kesepakatan dengan situs, bukan lebih banyak alamat.

Percobaan ulang yang membantu, bukan merugikan

Backoff dengan jitter mencegah banyak worker mencoba ulang secara serentak. “Full jitter” tidur selama waktu acak antara nol dan min(cap, base × 2^attempt), yang menyebarkan percobaan ulang ke seluruh jendela. Jika respons 429 atau 503 membawa header Retry-After, yang berisi jumlah detik atau tanggal HTTP, tunggu setidaknya selama itu. Gunakan timeout koneksi dan timeout baca yang terpisah, batasi jumlah percobaan maupun total waktu per URL, dan putuskan arti setiap status sebelum Anda menulis loop:

  • Coba ulang dengan backoff: timeout, connection reset, 429, 502, 503, dan 504. Ini biasanya bersifat sementara atau merupakan permintaan untuk memperlambat.
  • Coba ulang sekali pada koneksi atau sesi baru: kegagalan yang tampak spesifik pada satu node keluar, seperti galat koneksi sisi proxy yang berulang.
  • Jangan coba ulang: 404 dan 410 berarti halaman sudah tiada, jadi catat saja. 401 dan 403 adalah keputusan akses, bukan gangguan, dan mengulanginya dari banyak alamat adalah cara cepat untuk membuat seluruh rentang diblokir.
  • Perlakukan 407 sebagai masalah konfigurasi Anda sendiri: itu adalah proxy yang meminta kredensial, bukan situs web yang menolak Anda.

Fungsi di bawah ini menggabungkan bagian-bagian tersebut: pengecekan robots.txt yang mengikuti aturan status di atas, backoff full-jitter, penanganan Retry-After, dan kebijakan status. Ini adalah templat untuk disesuaikan, bukan crawler yang sudah jadi.

Python
import random
import time
import urllib.robotparser

import requests

UA = "ExampleBot/1.0 (+https://example.com/bot-info)"
PROXY = "http://USER:PASS@HOST:PORT"
PROXIES = {"http": PROXY, "https": PROXY}
HEADERS = {"User-Agent": UA}

robots = urllib.robotparser.RobotFileParser()
resp = requests.get("https://example.org/robots.txt", headers=HEADERS, proxies=PROXIES, timeout=15)
if resp.status_code == 200:
    robots.parse(resp.text.splitlines())
elif resp.status_code >= 500:
    robots.disallow_all = True
else:
    robots.allow_all = True

def backoff(attempt, base=1.0, cap=60.0):
    return random.uniform(0, min(cap, base * 2 ** attempt))

def polite_get(url, tries=5):
    if not robots.can_fetch(UA, url):
        return None
    for attempt in range(tries):
        try:
            r = requests.get(url, headers=HEADERS, proxies=PROXIES, timeout=(5, 20))
        except requests.RequestException:
            time.sleep(backoff(attempt))
            continue
        if r.status_code == 200:
            return r.text
        if r.status_code in (429, 503):
            wait = r.headers.get("Retry-After", "")
            time.sleep(min(float(wait), 300) if wait.isdigit() else backoff(attempt))
        elif r.status_code in (500, 502, 504):
            time.sleep(backoff(attempt))
        else:
            return None
    return None

Perlakukan setiap proxy sebagai komponen dengan skor kesehatan

Dalam proses yang panjang, node keluar individual bisa memburuk: sebuah node terkena pembatasan laju, gateway restart, kredensial kedaluwarsa. Simpan penghitung per proxy atau per sesi (keberhasilan, 429, 403, timeout, byte) dan pisahkan kesalahan proxy dari kesalahan target. Connection refused, timeout proxy, 407, dan 502 yang dihasilkan gateway menunjuk ke proxy; 403 dan 429 dari situs menunjuk ke target dan perilaku Anda. Kode galat pemeriksa proxy (auth, refused, timeout, not_http_proxy, tls, dan lainnya) memakai pemisahan yang sama, sehingga Anda dapat memverifikasi proxy yang dicurigai secara independen dari crawler Anda.

Tambahkan circuit breaker. Setelah sejumlah kegagalan berturut-turut yang ditetapkan, misalnya lima (ilustrasi), keluarkan proxy itu dari rotasi selama masa pendinginan seperti sepuluh menit, lalu uji dengan satu permintaan sebelum memulihkannya. Membuang proxy secara permanen pada galat pertamanya menyia-nyiakan kapasitas yang sudah dibayar, sedangkan terus menghantam proxy yang gagal menghabiskan bandwidth pada paket berbasis data.

Buat crawl dapat dilanjutkan dan lebih hemat

  • Simpan antrean secara persisten dengan status, jumlah percobaan, dan galat terakhir setiap URL, sehingga crash atau deployment melanjutkan alih-alih mengambil ulang.
  • Normalisasi dan deduplikasi URL (parameter pelacakan, urutan query-string, garis miring di akhir) sebelum masuk ke antrean.
  • Gunakan permintaan bersyarat: simpan nilai ETag atau Last-Modified dan kirim If-None-Match atau If-Modified-Since pada lain waktu. Respons 304 tidak memiliki body, yang menghemat data pada paket berbasis GB dan beban pada situs.
  • Terima kompresi; sebagian besar klien HTTP menanganinya secara transparan dengan gzip, dan biasanya mengecilkan HTML dan JSON secara signifikan.
  • Simpan respons mentah sebelum parsing, sehingga bug parser berarti memproses ulang file, bukan menghabiskan permintaan lagi.
  • Validasi konten, bukan hanya status: 200 yang berisi halaman blokir atau formulir login adalah kegagalan, jadi wajibkan elemen yang diharapkan sebelum Anda menghitung halaman sebagai berhasil.

Jaga konsistensi internal setiap sesi

Saat memakai sesi sticky, beri setiap sesi cookie jar-nya sendiri dan pertahankan header-nya stabil selama masa hidupnya: User-Agent yang sama, Accept-Language yang sama, dan seterusnya. Cookie yang diterbitkan untuk satu alamat tetapi disajikan dari alamat lain, atau kumpulan header yang berubah antar permintaan berurutan dari alamat yang sama, adalah alasan bagi situs untuk menantang Anda. Pemeriksa user-agent di situs ini menampilkan apa yang diekspos browser, termasuk client hints, bahasa, dan zona waktu, yang membantu Anda melihat apa yang dikatakan header klien Anda sendiri tentangnya. Konsistensi berarti menghindari kontradiksi tak disengaja pada klien Anda sendiri; itu tidak berarti meniru perangkat lunak orang lain di tempat aturan sebuah situs melarangnya.

Apa yang perlu dipantau di produksi

  • Tingkat keberhasilan per target dan per proxy atau sesi, dengan validasi konten diterapkan.
  • Persentil latensi (median dan ke-95), karena rata-rata menyembunyikan ekor lambat yang membuat worker tersendat.
  • Byte per record yang berhasil dan biaya per 1.000 record, yang mengubah penagihan proxy menjadi biaya satuan yang dapat Anda bandingkan antar jenis IP.
  • Proporsi respons 429 dan 403 dari waktu ke waktu; tren naik berarti laju atau pola Anda perlu diperhatikan sebelum blokir tiba.
  • Kesegaran data: kapan setiap halaman terakhir berhasil diambil dibandingkan dengan seberapa sering perlu diperbarui.

Pertanyaan yang sering diajukan

Mengapa saya masih mendapat respons 403 pada IP baru?

Alamat hanyalah satu sinyal. Situs juga mempertimbangkan header, karakteristik klien HTTP Anda, cookie, laju dan pola permintaan, serta apakah konten memerlukan akun. 403 yang berulang pada banyak IP berbeda biasanya berarti penyebabnya bukan alamat, sehingga rotasi lebih lanjut tidak akan membantu. Perlambat, baca ulang ketentuan situs, dan periksa apakah ada API resmi.

Berapa laju permintaan yang aman?

Tidak ada angka universal. Mulailah rendah, misalnya satu permintaan per detik per host sebagai ilustrasi, amati proporsi respons 429 dan tren latensi, lalu naikkan laju dalam langkah kecil. Jika situs mempublikasikan batas laju, kuota API, atau Crawl-delay di robots.txt, itulah batas atas Anda.

Bisakah saya men-scrape data yang berada di balik login?

Hanya dengan izin eksplisit atau untuk data yang berhak Anda akses, dan sesuai ketentuan situs. Banyak ketentuan melarang akses otomatis ke akun, dan halaman setelah login sering berisi data pribadi yang dicakup hukum pelindungan data. Utamakan API atau ekspor resmi; jika Anda harus mengotomatiskan akun Anda sendiri, gunakan IP statis agar akun tidak terlihat dari banyak tempat sekaligus.

Belum yakin paket mana yang cocok?

Jelaskan kasus penggunaan dan negara tujuan Anda, dan kami akan merekomendasikan produk — atau mengatakan dengan jujur jika jenis lain lebih sesuai untuk Anda.