Cara Kerja Proxy Rotating
Proxy rotating memberi Anda IP baru tanpa Anda mengelola daftar. Berikut yang terjadi di balik gateway dan cara memakainya dengan baik.
Dengan proxy statis, Anda menerima daftar IP dan menentukan sendiri kapan memakai masing-masing. Proxy rotating memindahkan keputusan itu ke penyedia: klien Anda terhubung ke satu alamat gateway dan penyedia memilih IP keluar dari pool yang besar.
Mode rotasi
- Per permintaan: setiap koneksi keluar dari alamat yang berbeda — terbaik untuk pengambilan data tanpa state.
- Sesi sticky: alamat yang sama dipertahankan selama periode atau session ID tertentu — terbaik untuk login dan alur multi-langkah.
- On demand: Anda memicu pergantian sendiri, misalnya dengan tautan ganti IP pada proxy seluler.
Dari mana pool berasal
Pool residensial memakai sambungan rumah tangga, pool seluler memakai kartu SIM pada jaringan operator. Ukuran pool, sebaran geografis, dan kualitas menentukan seberapa sering Anda menerima alamat yang belum ditandai oleh target.
Apa yang bisa salah
- Sesi putus: cookie yang diterbitkan untuk satu IP dapat ditolak ketika permintaan berikutnya datang dari IP lain. Gunakan sesi sticky untuk alur yang memerlukan state.
- Fingerprint tidak konsisten: mengganti IP sambil mempertahankan fingerprint browser yang sama bisa tampak janggal bagi sebagian situs.
- Waktu yang tidak jelas: penyedia mendeskripsikan interval rotasi dengan cara berbeda; verifikasi perilaku sebenarnya dengan endpoint IP-echo sebelum membangun di atasnya.
Menguji rotasi sendiri
Kirim sepuluh permintaan melalui gateway ke layanan IP-echo dan catat alamatnya. Hitung IP unik dan perhatikan seberapa sering berganti. Proxy checker dan IP address checker di situs ini cocok untuk pengujian semacam ini.
Alat proxyPemeriksa Alamat IPLihat alamat IP publik yang dilihat server untuk koneksi Anda, apakah IPv4 atau IPv6, dan header terkait proxy apa saja yang dibawa permintaan Anda.JelajahiMemilih antara rotasi seluler dan residensial
Pool seluler membawa tingkat kepercayaan tertinggi tetapi lebih lambat dan berkuota. Pool residensial lebih luas dan tersedia dengan paket trafik tanpa batas berdasarkan waktu. Pilih yang trade-off-nya cocok dengan beban kerja Anda.
Di balik gateway: apa yang terjadi pada satu permintaan
Sebagian besar paket rotating dibangun di atas gateway backconnect: satu hostname dan port yang Anda konfigurasikan sekali, di depan sebuah pool besar berisi node keluar. Klien Anda mengautentikasi diri ke gateway, gateway memilih node keluar sesuai pengaturan sesi yang melekat pada kredensial Anda, lalu meneruskan koneksi Anda ke tujuan. Situs web hanya melihat alamat node keluar. Karena alamat yang Anda tuju tidak pernah berubah, kode Anda tidak memerlukan daftar IP, tetapi rotasi kini terjadi di sisi penyedia dari jalur koneksi, tempat satu-satunya bukti yang Anda peroleh adalah apa yang dilaporkan kembali oleh tujuan.
Ada dua konsekuensi yang penting dalam praktik. Pertama, pada sebagian besar desain gateway, node keluar dipilih saat koneksi baru dibuka, bukan untuk setiap byte. Permintaan HTTPS melalui proxy HTTP adalah satu tunnel CONNECT, sehingga setiap permintaan yang dikirim klien Anda melalui tunnel itu, termasuk permintaan lanjutan ke host yang sama melalui koneksi keep-alive, keluar dari IP keluar yang sama meskipun pada paket yang “rotating”. Kedua, percobaan ulang yang memakai kembali koneksi tidak akan mengubah alamat, sehingga “coba ulang dengan IP baru” harus berarti “coba ulang dengan koneksi baru”.
Sesi sticky: label, masa berlaku, dan perubahan senyap
Sesi sticky biasanya berupa pemetaan dari sebuah label sesi ke satu node keluar selama masa berlaku yang terbatas. Cara label disampaikan (di dalam username, sebagai port terpisah, atau melalui pengaturan panel) berbeda antar layanan, jadi jangan pernah menyalin format dari penyedia lain. Untuk BuyProxy, paket residensial mencantumkan sesi rotating maupun sticky, tetapi format label yang tepat dan durasi sticky maksimum tidak dipublikasikan di situs ini; tanyakan kepada tim penjualan lewat WhatsApp sebelum Anda membangun alur kerja di atasnya.
Perlakukan durasi sticky apa pun sebagai batas atas, bukan janji. Pada pool residensial, node keluar adalah sambungan rumah tangga yang bisa offline kapan saja, dan node keluar seluler dapat berubah saat SIM tersambung ulang. Ketika itu terjadi, gateway menetapkan node lain dan sesi Anda berlanjut dari alamat yang berbeda. Rancang klien agar perubahan alamat yang tak terduga masih dapat ditangani:
- Simpan state alur kerja (cookie, token, kursor paginasi) di penyimpanan Anda sendiri, dengan kunci berdasarkan tugas, alih-alih mengandalkan IP yang tetap sama.
- Ambil IP keluar sekali di awal alur multi-langkah, dan ambil lagi setiap kali muncul tantangan login atau galat sesi, sehingga Anda dapat membedakan pergantian node dari penolakan yang sebenarnya.
- Buat alur dapat dimulai ulang dari langkah aman terakhir, bukan dari awal.
- Berikan label sesi tersendiri untuk setiap worker yang berjalan bersamaan; berbagi satu label antar worker mencampur trafik mereka pada satu IP keluar dan merusak anggaran laju per IP.
Ukur perilaku rotasi dengan skrip
Uji sepuluh permintaan pada artikel di atas memberi tahu Anda apakah alamat berubah. Skrip di bawah ini juga menunjukkan mengapa terkadang alamat tidak berubah, dengan membandingkan koneksi baru dengan koneksi yang dipakai ulang. Jalankan terhadap gateway dengan kredensial Anda sendiri; skrip ini memanggil endpoint IP-echo, sehingga setiap balasan adalah alamat keluar yang akan dilihat situs web.
import collections
import requests
GATEWAY = "http://USER:PASS@GATEWAY_HOST:PORT"
PROXIES = {"http": GATEWAY, "https": GATEWAY}
ECHO = "https://api.ipify.org"
def sample(n, reuse):
seen = []
session = requests.Session() if reuse else None
for _ in range(n):
get = session.get if reuse else requests.get
seen.append(get(ECHO, proxies=PROXIES, timeout=20).text.strip())
return seen
for reuse in (False, True):
ips = sample(20, reuse)
print("reused connection:", reuse, "| unique:", len(set(ips)), "of", len(ips))
print(collections.Counter(ips).most_common(3))Baca kedua baris hasil secara bersamaan. Jika proses dengan koneksi baru menunjukkan sebagian besar alamat unik sedangkan proses dengan sesi hanya menunjukkan satu atau dua, berarti rotasi berlaku per koneksi dan connection pooling pada pustaka HTTP Anda menyembunyikannya. Jika kedua proses menunjukkan sekumpulan kecil alamat yang berulang, berarti pool yang tersedia untuk paket atau penargetan Anda sempit. Sedikit pengulangan itu normal: dengan pool efektif berisi 1.000 alamat (angka ilustrasi), peluang munculnya setidaknya satu pengulangan dalam 20 pengambilan adalah sekitar 1 − e^(−190/1000), kira-kira 17 persen, karena 20 pengambilan mengandung 190 pasangan. Nilailah rotasi dari rasio alamat unik pada ratusan permintaan, bukan dari satu sampel.
Menyesuaikan rotasi dengan beban kerja
Pilih mode rotasi berdasarkan apa yang diingat server di antara permintaan Anda, bukan berdasarkan kebiasaan. Semakin banyak state yang diikat server pada sebuah alamat, semakin sedikit Anda sebaiknya melakukan rotasi.
- Halaman publik tanpa state (daftar, hasil pencarian, JSON publik): koneksi baru untuk setiap permintaan, tanpa label sesi, serta toleransi terhadap alamat ganda sesekali.
- Crawl berhalaman dengan kursor di sisi server: satu sesi sticky untuk seluruh penelusuran, dilepas saat penelusuran selesai.
- Alur login, keranjang, atau checkout yang cookie-nya terikat pada alamat: sesi sticky untuk seluruh alur, atau IP ISP atau seluler statis jika akun harus mempertahankan satu alamat selama berhari-hari.
- Koneksi berumur panjang seperti WebSocket atau streaming: sesi sticky ditambah logika sambung ulang, karena rotasi di tengah stream akan memutus koneksi.
- Memeriksa satu halaman dari beberapa negara: minta target negara yang berbeda untuk setiap proses alih-alih memakai ulang sesi, dan catat negara asal setiap hasil.
Pool berbasis data: menghitung biaya rotasi
Rotasi dan penagihan saling memengaruhi. Paket residensial per GB (5, 10, 50, 100, 200, dan 300 GB) memiliki periode pemakaian 30 hari, paket seluler rotating 5, 10, dan 100 GB merupakan pembelian satu kali, dan seluler rotating tanpa batas ditagih bulanan; residensial rotating tanpa batas tersedia dengan periode harian, mingguan, dan bulanan. Pada paket berbasis data mana pun, setiap percobaan ulang menghabiskan data, termasuk halaman blokir kecil yang Anda buang.
Contoh perhitungan dengan angka ilustrasi: 100.000 pengambilan halaman dengan rata-rata 250 KB masing-masing berjumlah 25 GB. Jika 15 persen pengambilan memerlukan satu percobaan ulang berukuran penuh, totalnya sekitar 28,75 GB, sehingga paket 50 GB mencukupi seluruh proses itu, sedangkan paket 10 GB akan habis kira-kira di sepertiga perjalanan. Lacak byte per record yang berhasil, bukan byte per permintaan, dan bandingkan angka itu setelah setiap perubahan pada header, pemblokiran resource, atau kebijakan percobaan ulang.
Pertanyaan yang sering diajukan
Mengapa saya menerima alamat IP yang sama dua kali berturut-turut?
Pool bisa mengembalikan duplikat, dan koneksi yang dipakai ulang mempertahankan IP keluarnya, jadi keduanya normal. Bandingkan proses dengan koneksi baru dan proses dengan sesi memakai skrip di atas, lalu nilai rasio alamat unik pada ratusan permintaan. Target negara atau kota yang sempit memperkecil pool yang dapat dipakai, sehingga pengulangan menjadi lebih sering.
Apakah ada batas koneksi paralel ke gateway?
Batas konkurensi untuk setiap paket tidak dipublikasikan di situs ini, jadi tanyakan kepada tim penjualan lewat WhatsApp sebelum menentukan skala pekerjaan besar. Dalam praktiknya, naikkan konkurensi secara bertahap dan amati kode galat serta timeout pada setiap tahap; pemeriksa proxy melaporkan kode seperti auth, refused, dan timeout. Berhenti menaikkan konkurensi ketika galat bertambah lebih cepat daripada throughput.
Kapan daftar statis lebih baik daripada gateway rotating?
Pilih daftar statis ketika Anda membutuhkan alamat yang tetap dapat diatribusikan selama berhari-hari, ketika Anda ingin mereproduksi hasil dari IP yang diketahui, atau ketika model biaya Anda dihitung per alamat, bukan per GB. Pilih gateway rotating untuk pekerjaan bervolume tinggi tanpa state yang tersebar di banyak situs atau lokasi. Banyak proyek memakai keduanya: IP statis untuk akun dan pool rotating untuk data publik.