Apa itu proxy web scraping

Proxy web scraping adalah server yang berada di antara scraper Anda dan situs web yang dikunjunginya, yang mengirimkan permintaan melalui alamat IP lain. Situs web melihat IP proxy, bukan IP Anda, sehingga Anda dapat mengumpulkan data publik dalam skala besar tanpa dibatasi rate atau diblokir.

Bagaimana cara kerja proxy web scraping

1. Scraper Anda mengirimkan permintaan ke proxy, bukan ke situs web.

2. Proxy meneruskannya dari salah satu alamat IP miliknya, seringkali di negara atau kota yang Anda pilih.

3. Situs web merespons ke proxy, yang meneruskan data kembali ke scraper Anda.

Dalam kode, biasanya hanya satu pengaturan tambahan. Berikut tampilannya di Python:

import requests




proxy = "http://USERNAME:PASSWORD@PROXY_HOST:PORT"

r = requests.get("https://httpbin.org/ip", proxies={"http": proxy, "https": proxy}, timeout=30)

print(r.json())  # shows the proxy's IP, not yours

Rotating proxy menggunakan IP baru untuk setiap permintaan, sementara sticky session mempertahankan satu IP selama beberapa menit atau jam agar Anda tetap login. Panduan kami tentang rotating IP address menjelaskan kapan harus menggunakan masing-masing.

Mengapa scraper diblokir tanpa proxy

Situs web menandai traffic yang tidak terlihat seperti manusia: terlalu banyak permintaan dari satu IP, rentang datacenter yang dikenal, atau zona waktu yang tidak cocok dengan IP. Hasilnya adalah error 403, CAPTCHA wall, dan respons 429, yang didefinisikan MDN sebagai "terlalu banyak permintaan dalam jangka waktu tertentu." Jika CAPTCHA adalah masalah utama Anda, lihat bagaimana proxy membantu dengan CAPTCHA.

Jenis-jenis proxy web scraping

Anonimitas web scraping: apa yang disembunyikan proxy dan apa yang tidak

Proxy menyembunyikan alamat IP asli, penyedia internet, dan lokasi Anda. Itu adalah fondasi anonimitas web scraping, tetapi situs web memeriksa jauh lebih banyak daripada IP. Jika sinyal lain membocorkan identitas Anda, situs masih dapat menghubungkan dan memblokir permintaan Anda.

Gunakan checklist lima poin ini:

1. Alamat IP: arahkan setiap permintaan melalui proxy, dan sesuaikan negaranya dengan data yang Anda butuhkan.

2. Fingerprint browser: situs membaca ukuran layar, font, dan detail perangkat. Gunakan browser asli atau headless dengan profil yang konsisten dan realistis.

3. Cookie dan sesi: pisahkan cookie untuk setiap sesi agar pemblokiran satu sesi tidak membuka sesi lainnya.

4. Timing permintaan: tambahkan delay acak. Permintaan yang dikirim dengan interval yang sempurna terlihat otomatis.

5. Header: kirim User-Agent yang realistis dan Accept-Language yang sesuai dengan negara proxy Anda.

Cara memilih proxy web scraping

• Sesuaikan jenis dengan target: residential untuk situs yang dilindungi, datacenter untuk data terbuka

• Periksa opsi sesi: Anda memerlukan rotasi dan sticky session

• Cari tools yang menghemat waktu setup: scraper gratis dan integrasi siap pakai memangkas waktu setup Anda hingga berhari-hari