Cara Mengatur Proxy Residensial untuk Selenium

Anda menulis sebuah skrip Selenium. Skrip tersebut berjalan sempurna di mesin lokal Anda. Anda mendorong kode ke lingkungan produksi. Platform target langsung menolak koneksi.

Ini merusak seluruh alur kerja Anda. Sebagian besar operator merutekan browser otomatis melalui hosting datacenter standar. Algoritma keamanan memindai lalu lintas masuk dan langsung mendeteksi tanda jaringan steril ini. Mereka memutus koneksi. Otomasi Anda terhenti bahkan sebelum mengekstrak satu titik data pun.

Tetapi Anda dapat memperbaiki ini di lapisan jaringan. Anda harus melindungi jejak jaringan Anda dengan mengintegrasikan kumpulan IP residensial global yang masif. Rutekan webdriver Anda melalui penyedia layanan internet (ISP) yang autentik. Ini memaksa server target memperlakukan skrip Anda seperti pengunjung manusia nyata. Lalu lintas Anda menyatu.

Panduan ini merinci secara tepat bagaimana menyusun kode Anda untuk web scraping. Kami akan mengimplementasikan kinerja tingkat enterprise untuk pipeline produksi. Anda akan belajar menyelaraskan lokasi jaringan Anda dan mengatasi batasan regional. Pendekatan ini membantu mempertahankan tingkat keberhasilan proxy yang sangat tinggi tanpa memicu filter keamanan otomatis.

TL;DR: Mengamankan pipeline Selenium dalam skala besar

Operasi scraping Anda terhenti karena pengaturan webdriver Anda saat ini membocorkan niat sebenarnya. Mari kita perbaiki akar masalahnya.

  • Masalah datacenter: Algoritma memantau kecepatan lalu lintas dan jenis jaringan Anda sepanjang waktu. Mereka langsung menolak permintaan yang berasal dari hosting server standar. Mendorong headless Chrome melalui node datacenter murah menjamin kegagalan skrip langsung.

  • Solusi jaringan: Lindungi jejak Anda. Transisikan infrastruktur Anda ke kumpulan IP residensial global yang masif sehingga platform tujuan memperlakukan permintaan otomatis Anda persis seperti pengunjung manusia nyata.

  • Isolasi fingerprint: Mengubah alamat IP Anda hanya menyelesaikan setengah persamaan. Anda harus menghapus flag otomasi default Selenium . Kemudian sinkronkan koordinat browser internal Anda agar sesuai dengan lokasi fisik jaringan Anda. Penyelarasan perangkat keras yang tepat ini mempertahankan tingkat keberhasilan proxy yang sangat tinggi.

  • Audit pra-peluncuran: Jangan pernah meluncurkan webdriver Anda secara membabi buta. Uji kredensial jaringan Anda melalui perintah cURL terminal sederhana dan evaluasi risiko Anda dengan pemeriksa Fraud Score sebelum menjalankan instance browser yang mahal.

Membangun pipeline otomasi Selenium yang stabil

Berhenti memperlakukan proxy sebagai sekadar tambahan. Basis kode Anda memerlukan infrastruktur yang diperkuat. Ketika Anda meningkatkan dari sepuluh permintaan per menit menjadi sepuluh ribu, pengaturan proxy dasar akan runtuh. Pemutusan koneksi berlipat ganda. Aliran data rusak. Anda memerlukan arsitektur yang menangani beban berat secara native.

Pipeline yang stabil memerlukan perilaku jaringan yang dapat diprediksi. Server target terus memantau kecepatan permintaan Anda. Jika satu alamat IP mengirim terlalu banyak paket, platform memutus koneksi. Tetapi Anda dapat mendistribusikan beban yang tepat itu. Merutekan lalu lintas melalui ribuan node berbeda menyebarkan jejak Anda. Ini mencegah flag batas kecepatan sepenuhnya. Sistem memperbaiki diri sendiri di bawah tekanan. Jika satu node jaringan terputus, infrastruktur langsung merutekan permintaan Anda melalui koneksi segar dan aktif.

  • Tangani jutaan sesi bersamaan tanpa membebani aplikasi target Anda.

  • Jaga aliran ekstraksi data tetap hidup tanpa pemutusan koneksi mendadak.

  • Jalankan beban kerja berat tanpa restart manual. Kumpulan proxy secara otomatis mengganti node mati untuk menjaga sesi Anda tetap aktif.

  • Jamin uptime untuk lingkungan produksi Anda menggunakan SLA kustom tingkat enterprise.

Pemilihan infrastruktur: Mencocokkan IP proxy dengan tugas Selenium

Tugas yang berbeda memerlukan arsitektur jaringan yang berbeda. Anda akan membuang anggaran jika membeli IP mobile premium untuk situs sederhana yang tidak dilindungi. Sebaliknya, routing murah langsung gagal pada platform yang ketat. Cocokkan infrastruktur jaringan Anda langsung dengan parameter proyek Anda untuk memastikan pengiriman data yang stabil.

Jenis proxy

Keunggulan utama

Paling baik digunakan untuk

Struktur penagihan

Rotating residential

Rotasi IP otomatis per permintaan

Crawling web volume tinggi

Bayar sesuai pemakaian ($0,9/GB)

ISP Statis

Sesi jangka panjang yang konsisten stabil

Operasi multi-akun

Bulanan tetap (mulai dari $5,29)

Mobile LTE/4G/5G Bersama

CGNAT tingkat kepercayaan tinggi dengan rotasi otomatis

Pengujian hemat biaya dan browsing stabil

Harian atau bulanan

Mobile LTE/4G/5G Khusus

Modem pribadi dengan rotasi API dan fingerprinting OS

Anti-fraud ketat dan farming akun profesional

Harian atau bulanan (mulai dari $1,7/hari)

Datacenter

IP khusus pribadi dengan latensi ultra-rendah

Scraping berkecepatan tinggi pada target keamanan rendah

Bulanan tetap (mulai dari $1,9)

Perbedaan protokol: IPv4 vs IPv6 untuk routing Selenium

Anda men-deploy scraper. Server target langsung memutus koneksi IPv4 Anda. Anda mengganti proxy, tetapi node IPv4 baru juga gagal. Kemudian Anda merutekan skrip Selenium yang sama melalui alamat IPv6 . Halaman dimuat dengan sempurna.

Perbedaan protokol ini merusak pipeline otomasi yang kaku. Database anti-bot lama memetakan dan mengkategorikan ruang IPv4 yang lebih tua secara agresif. Mereka memantau rentang tersebut. Mereka memfilternya dengan ketat. Tetapi ruang alamat IPv6 tetap sangat besar dan terfragmentasi. Banyak algoritma keamanan korporat menerapkan parameter filter yang sama sekali berbeda, seringkali lebih longgar, pada lalu lintas IPv6.

Infrastruktur Anda harus mendukung routing fleksibel untuk bertahan dari ketidakcocokan ini. Mengandalkan konfigurasi statis menjamin downtime. Platform sering memblokir seluruh subnet IPv4. Tetapi mereka membiarkan endpoint IPv6 mereka sepenuhnya terbuka. Bangun arsitektur Anda untuk menangani perbedaan ini secara native. Jika node IPv4 gagal, skrip Anda perlu segera beralih ke alamat IPv6.

  • Konfigurasikan routing dual-stack untuk memenuhi aturan protokol yang berbeda.

  • Rutekan lalu lintas Anda melalui ruang alamat IPv6 yang sangat besar untuk tetap di luar database lama.

  • Pertahankan tingkat keberhasilan proxy yang sangat tinggi menggunakan failover protokol otomatis.

Kontrol sesi Selenium dan logika rotasi proxy

Selenium memerlukan aturan sesi yang ketat. Anda login, mengklik, dan mengambil data. Perubahan IP mendadak selama proses ini memicu tanda bahaya langsung. Server tujuan memutus akses Anda di sana juga. Karena itu, pengaturan rotasi Anda harus sesuai dengan pekerjaan scrapingspesifik Anda.

Tentukan parameter koneksi Anda di dalam konstruktor proxy sebelum meluncurkan webdriver. CyberYozh App menyusun koneksi menggunakan format universal IP:PORT:LOGIN:PASS . Anda merutekan permintaan melalui port 5959 untuk HTTP atau port 9595 untuk SOCKS5.

Parameter routing proxy residensial

Parameter routing Anda sepenuhnya bergantung pada apakah Anda men-deploy pool dinamis atau node ISP statis.

Pool proxy alamat IP dinamis memungkinkan Anda mengontrol stabilitas identitas jaringan melalui pembuatan kredensial spesifik. Anda tidak perlu membuat string penargetan kompleks secara manual. Dasbor CyberYozh App menampilkan Generator Kredensial visual.

Dasbor CyberYozh App menampilkan tombol Buat Kredensial untuk proxy residensial dinamis.
Temukan paket proxy residensial Anda yang aktif di dasbor. Klik «Buat Kredensial».

Anda memilih jenis sesi yang diperlukan, dan sistem menghasilkan string terformat yang tepat untuk webdriver Anda. String teks dalam nama pengguna Anda memberi tahu server kami apa yang harus dilakukan dengan koneksi Anda.

  • IP Acak: Anda mendapatkan node jaringan baru pada setiap permintaan. Tool kami menambahkan tag -res-any ke login Anda. Jalankan ini ketika Anda hanya membutuhkan volume mentah tanpa menjaga cookie tetap aktif.

  • Sesi pendek: Sistem mengunci satu alamat IP hingga enam puluh detik. Konfigurasi ini memungkinkan pemilihan lokasi yang sangat presisi hingga tingkat negara, provinsi, dan kota.

  • Sesi panjang: Koneksi tetap sticky hingga enam jam. Anda tidak perlu menangkap token sesi secara manual. Generator hanya menambahkan token -resfix- unik ke string login Anda. Konfigurasi ini memberikan stabilitas berkelanjutan yang diperlukan untuk menangani akun, menyelesaikan checkout multi-halaman, dan mengisi formulir panjang.

Antarmuka pembuat kredensial proxy residensial di CyberYozh App. Area ini menyediakan opsi penargetan geografis dan kontrol sesi.
Pilih lokasi tepat dan jenis sesi Anda. Sistem akan langsung membuat string proxy berformat dan cuplikan pengujian cURL untuk skrip Selenium Anda.

Arsitektur alamat IP statis beroperasi secara berbeda. Anda menerima satu alamat IP rumah khusus yang ditetapkan secara eksklusif untuk Anda selama periode sewa. Jaringan mengikat IP ini langsung ke penyedia layanan internet nyata. Anda tidak perlu menghasilkan token rotasi atau mengelola prefiks sesi. Anda cukup memasukkan IP statis dan kredensial ke dalam webdriver Anda. Gunakan arsitektur ini untuk operasi multi-akun dan mengelola profil e-commerce yang ketat di mana mempertahankan alamat digital permanen adalah wajib.

👉 Baca panduan lengkap tentang proxy residensial untuk melihat alur kerja dasbor yang tepat.

Mekanika rotasi proxy mobile

Jaringan seluler berjalan pada teknologi CGNAT. Ini berarti ribuan orang biasa berbagi satu alamat IP operator secara bersamaan. Tumpang tindih masif itu membuat node mobile terlihat sangat autentik bagi filter keamanan. Kami membagi infrastruktur ini menjadi dua pengaturan yang berbeda. Dan Anda tidak perlu menghasilkan nama pengguna yang kompleks untuk keduanya. Cukup hubungkan langsung menggunakan kredensial statis yang kami sediakan.

Timer internal otomatis mengontrol port proxy mobile bersama. Sistem merotasi IP secara otomatis setiap 5 hingga 30 menit. Anda tidak dapat memaksa perubahan manual pada paket bersama. Anda perlu membuat kode skrip Anda untuk menangani pemutusan koneksi mendadak saat IP bersama berputar. Tetapi port proxy mobile khusus pribadi bekerja secara berbeda. Anda mendapatkan akses eksklusif ke modem LTE/4G/5G nyata. Kami memberi Anda tautan API spesifik di dasbor Anda. Anda cukup mengonfigurasi kode Python atau Node.js Anda untuk mengakses URL tersebut. Ini memicu reboot perangkat keras fisik. Ini mengatur ulang sidik jari jaringan Anda sepenuhnya sesuai permintaan.

Port khusus juga memberikan akses ke alat jaringan canggih. Anda dapat mengaktifkan pencocokan sidik jari OS pasif (TCP/IP). Jika skrip Selenium Anda berjalan di server Windows tetapi mengemulasi perangkat iOS, fitur ini menyelaraskan tanda tangan jaringan agar sesuai dengan perangkat keras yang diemulasi dengan sempurna.

  • Panggil Tautan Perubahan Alamat IP melalui skrip Anda untuk mengontrol interval rotasi.

  • Masukkan tautan yang sama ke dalam kolom "IP Change URL" di browser anti-deteksi Anda untuk reset otomatis.

  • Tulis jeda 15 detik ke dalam kode Anda untuk menunggu modem fisik restart.

  • Gunakan VLESS-Reality kami (Xray) untuk menjaga stabilitas lalu lintas di berbagai firewall yang ketat.

👉 Periksa dokumentasi API CyberYozh untuk menangani batasan rate dan mengelola riwayat node Anda.

Menyamarkan webdriver Selenium dan fingerprinting browser

Merutekan lalu lintas melalui koneksi residensial hanya menyelesaikan setengah dari persamaan. Platform target tidak hanya memverifikasi alamat IP Anda. Mereka menjalankan tantangan JavaScript yang agresif untuk menginterogasi profil perangkat keras internal browser Anda. Jika IP proxy Anda terdaftar di London, tetapi webdriver Selenium Anda menyiarkan zona waktu sistem di Tokyo, algoritma akan langsung menangkap ketidakcocokan tersebut. Platform akan mengakhiri sesi Anda.

Alat otomasi standar meninggalkan jejak teknis yang mencolok. Secara default, Chrome menyiarkan sinyal navigator.webdriver = true . Filter keamanan membaca ini dan memblokir akses Anda bahkan sebelum halaman dirender. Anda harus menghapus penanda otomasi default ini sepenuhnya.

Menjalankan Chrome di server berarti menjalankannya dalam mode headless. Anda tidak memiliki antarmuka grafis. Tetapi arsitektur headless lama menyiarkan tanda bahaya besar. Ini menulis "HeadlessChrome" langsung ke dalam string user-agent Anda. Sistem anti-fraud memblokir ini secara instan, bahkan jika proxy residensial Anda sempurna.

Google merilis mode headless baru untuk memperbaiki ini. Anda harus memaksa Selenium untuk menggunakannya. Tambahkan --headless=new ke opsi Anda. Kemudian secara eksplisit timpa string user-agent agar terlihat seperti browser desktop standar.

python
options = Options()

# Force the new headless architecture

options.add_argument("--headless=new")

# Overwrite the default headless user-agent

options.add_argument("user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36")

Tetapi menghapus flag webdriver hanyalah dasar. Anda harus menyinkronkan data koordinat browser dan parameter bahasa Anda secara langsung dengan lokasi fisik node proxy Anda. Berikut cara melakukan penyamaran identitas dasar dan sinkronisasi zona waktu menggunakan Chrome DevTools Protocol (CDP) dalam skrip Python Selenium:

python
from selenium import webdriver

from selenium.webdriver.chrome.options import Options

options = Options()

# Strip the default automation markers

options.add_argument("--disable-blink-features=AutomationControlled")

options.add_experimental_option("excludeSwitches", ["enable-automation"])

options.add_experimental_option('useAutomationExtension', False)

driver = webdriver.Chrome(options=options)

# Override the webdriver property via CDP

driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {

    "source": "Object.defineProperty(navigator, 'webdriver', {get: () => undefined})"

})

# Force the timezone to match a specific proxy IP (e.g., London)

driver.execute_cdp_cmd("Emulation.setTimezoneOverride", {

    "timezoneId": "Europe/London"

})

# Mask WebRTC to prevent local IP leaks

driver.execute_cdp_cmd("Emulation.setWebRTCIPHandlingPolicy", {

    "policy": "disable_non_proxied_udp"

})

Penyamaran tingkat kode memiliki batasan ketat. Mengubah string user-agent di dalam ChromeOptions tidak benar-benar mengubah cara browser merender grafis. Sistem anti-fraud memetakan piksel yang tepat yang digambar browser Anda untuk mengidentifikasi kartu grafis yang mendasarinya. Selenium standar tidak dapat menyamarkan hash perangkat keras yang mendalam ini secara efektif dengan sendirinya.

Karena batasan teknis ini, operator profesional menghubungkan Selenium secara langsung ke browser anti-detect khusus melalui API. Pendekatan ini mengelola fingerprinting browser sepenuhnya di cloud. Lingkungan anti-detect menangani penyelarasan perangkat keras yang kompleks secara native. Selenium hanya menggerakkan antarmuka.

Melaksanakan integrasi ini memerlukan penerusan port yang presisi dan manajemen token API lokal. Anda mengonfigurasi skrip Anda untuk terhubung ke instance browser yang sudah berjalan dan terisolasi, bukan meluncurkan jendela Chrome lokal baru. Arsitektur pengaturan sangat bervariasi antara vendor. Setiap vendor menyusun koneksi ini secara berbeda. Anda harus membaca dokumentasi API resmi untuk lingkungan spesifik Anda untuk mendapatkan template kode yang tepat.

👉 Baca dokumentasi Local API AdsPower atau panduan API Dolphin{anty} untuk menemukan parameter port lokal yang tepat.

Dan paksa pipeline Anda untuk mengikuti aturan dasar ini:

  • Sinkronkan lokasi proxy dan data ISP Anda secara langsung dengan profil browser Anda.

  • Bangun header browser dan user-agentyang mirip manusia.

  • Selaraskan Canvas, WebGL, dan penanda audio untuk mensimulasikan sinyal perangkat dan OS yang nyata.

  • Isolasi profil browser per akun untuk memisahkan cookies dan local storage.

Audit jaringan pra-peluncuran untuk skrip Selenium

Jangan pernah mengirim traffic otomatis melalui node yang belum diuji. Mempercayai proxy pool Anda secara membabi buta akan menyebabkan akun terbakar. Anda harus mengaudit parameter jaringan sebelum skrip Anda menjalankan tindakan pertamanya. Integrasikan verifikasi real-time langsung ke dalam urutan deployment Anda. Langkah ini memungkinkan Anda melihat koneksi Anda persis seperti yang dilihat oleh platform target.

Audit yang tepat mencakup tiga langkah. Anda menguji keterjangkauan, memeriksa autentikasi Anda, dan mengevaluasi skor risiko.

Menguji keterjangkauan jaringan

Jangan mulai skrip scraping Anda dulu. Pertama, lihat apakah node Anda bahkan dapat menjangkau URL tujuan. Anda dapat menjalankan skrip open-source ipregion.sh oleh vernette untuk memeriksa ini. Skrip ini menjalankan pemeriksaan pulsa jaringan yang cepat dan ringan. Skrip ini memverifikasi jalur routing dan menentukan apakah platform tertentu mengizinkan akses tamu atau regional dari alamat IPv4 atau IPv6 Anda saat ini.

Jalankan pemeriksaan langsung dari terminal Anda menggunakan perintah ini:

bash
bash <(wget -qO- https://ipregion.vrnt.xyz)

Skrip mengembalikan matriks routing yang akurat:

plaintext
Popular services


Service                IPv4    IPv6

Google                 NL      MD

YouTube                NL      MD

ChatGPT                LV      LV

Target Site            Denied  N/A

Output memetakan ketersediaan platform yang tepat. Ini menandai apakah layanan menolak traffic dari node atau region tertentu. Langkah ini mengonfirmasi kesiapan infrastruktur dasar sebelum Anda menginisialisasi instance webdriver yang mahal.

Memvalidasi kredensial proxy melalui cURL

Anda harus memverifikasi bahwa gateway proxy Anda menerima kredensial Anda sebelum meluncurkan Chrome. Pemeriksaan command-line sederhana menghemat berjam-jam debugging timeout browser yang membingungkan. Anda menguji string routing Anda yang tepat menggunakan perintah autentikasi cURL dasar.

Jalankan perintah ini di terminal Anda untuk mensimulasikan satu permintaan terotentikasi melalui node yang ditentukan:

bash
curl -v -x http://LOGIN-resfix-us-nnid-TOKEN:PASSWORD@IP:5959 https://ipv4.icanhazip.com

Analisis output verbose. Jika lapisan proxy menolak akses Anda, terminal mengembalikan error HTTP 407 Proxy Authentication Required. Ini berarti Anda memiliki kesalahan ketik dalam string username Anda atau token yang kedaluwarsa. Jika perintah mengembalikan alamat IP yang bersih, autentikasi Anda dikonfigurasi dengan sempurna. Anda siap untuk mengintegrasikan kredensial tersebut ke dalam kode Selenium Anda.

👉 Baca panduan lengkap tentangCara Melakukan Autentikasi cURLuntuk menguasai diagnostik proxy berbasis terminal tingkat lanjut.

Mengevaluasi tingkat risiko

Konektivitas fisik tidak menjamin umur panjang akun. Sebuah IP dapat terhubung dengan sempurna tetapi masih membawa beban historis yang berat. Platform melacak aktivitas otomatis secara terus-menerus. Jika node residensial yang ditetapkan memiliki riwayat kecepatan penyalahgunaan tinggi, platform target menandai sesi Anda secara instan.

Filter keamanan lanjutan menganalisis berbagai faktor. Sementara utilitas dasar memetakan koordinat, infrastruktur lanjutan memerlukan intelijen mendalam. Anda dapat meninjau panduan komprehensif tentang7 Alat Pencarian Alamat IP Terbaik untuk Keamanan, Proxy & Otomasiuntuk melihat bagaimana layanan diagnostik yang berbeda mengagregasi data jaringan. Alat standar seperti IPinfo atau MaxMind menyediakan data geolokasi deskriptif yang berguna. Tetapi pipeline produksi memerlukan pemantauan aktif. Hubungkan CyberYozh App Checker API ke dalam urutan startup Anda. Ini memeriksa IP Anda terhadap database utama seperti IPQualityScore dan ThreatMetrix secara real-time. Anda memasukkan X-Api-Key Anda dalam header permintaan untuk menarik skor penipuan, mengambil informasi carrier, dan mendeteksi nomor VOIP secara terprogram sebelum meluncurkan webdriver apa pun.

  • Jalankan pencarian diagnostik otomatis untuk menangkap penanda penyalahgunaan historis sebelum meluncurkan webdriver.

  • Beri skor koneksi Anda pada skala 0 hingga 100. Jeda skrip Anda saat node mencapai 75 atau lebih tinggi.

  • Filter proxy pool Anda secara dinamis untuk membuang kontaminasi datacenter atau jejak VPN yang bocor.

  • Hentikan thread eksekusi segera jika node mencatat kecepatan penyalahgunaan tinggi.

Urutan pra-peluncuran tiga langkah ini memastikan skrip Anda tidak pernah memulai sesi dengan identitas yang dikompromikan. Infrastruktur yang bersih menghemat anggaran operasional Anda.

👉 Lihat referensi API checker untuk format respons JSON dan perintah validasi nomor telepon.

Mengonfigurasi autentikasi proxy di Selenium

Mengintegrasikan proxy aman ke dalam webdriver Anda memerlukan penanganan kredensial yang spesifik. ChromeOptions Selenium native kesulitan dengan string autentikasi proxy. Ia hanya menerima data host dan port mentah. Jika Anda memasukkan username dan password secara langsung ke dalam argumen proxy standar, browser akan mengabaikannya. Platform target akan segera memutus koneksi Anda.

Kami menggunakan format standar IP:PORT:LOGIN:PASS . Anda harus memasukkan header login tersebut langsung ke dalam kode Anda.

Integrasi Python (selenium-wire)

Developer Python menangani ini dengan selenium-wire. Library ini terintegrasi langsung ke dalam Selenium standar. Ia mencegat permintaan browser di balik layar dan menerapkan kredensial CyberYozh App proxy Anda secara otomatis.

Berikut adalah nuansa teknis yang krusial. CyberYozh App mengeluarkan proxy menggunakan protokol HTTP atau SOCKS5. Anda tidak memerlukan "HTTPS proxy" untuk menjelajahi situs web HTTPS yang aman. Proxy HTTP standar meneruskan lalu lintas terenkripsi dengan sempurna menggunakan metode CONNECT.

Instal library melalui terminal Anda terlebih dahulu dengan menjalankan pip install selenium-wire. Berikut adalah implementasi tepat untuk koneksi HTTP menggunakan sesi residential sticky pada port 5959:

python
from seleniumwire import webdriver

from selenium.webdriver.chrome.options import Options

# Prevent script crashes caused by proxy SSL handshake variations

options = Options()

options.add_argument('--ignore-certificate-errors')

# Define CyberYozh App credentials for HTTP protocol

proxy_options = {

    'proxy': {

        'http': 'http://LOGIN-resfix-us-nnid-TOKEN:PASSWORD@IP:5959',

        'https': 'http://LOGIN-resfix-us-nnid-TOKEN:PASSWORD@IP:5959', # Routes HTTPS traffic through HTTP

        'no_proxy': 'localhost,127.0.0.1'

    }

}

driver = webdriver.Chrome(options=options, seleniumwire_options=proxy_options)

try:

    # Always use Explicit Waits (WebDriverWait) in production 

    # to handle variable proxy response times gracefully.

    driver.get("https://ipv4.icanhazip.com")

    print(driver.page_source)

finally:

    driver.quit()

Jika pipeline Anda memerlukan routing jaringan tingkat lebih rendah, Anda dapat beralih ke protokol SOCKS5. Ubah port Anda ke 9595 dan perbarui skema dalam dictionary konfigurasi Anda:

python
from seleniumwire import webdriver

from selenium.webdriver.chrome.options import Options

# Prevent script crashes caused by proxy SSL handshake variations

options = Options()

options.add_argument('--ignore-certificate-errors')

# Define CyberYozh App credentials for SOCKS5 protocol

proxy_options = {

    'proxy': {

        'http': 'socks5://LOGIN-resfix-us-nnid-TOKEN:PASSWORD@IP:9595',

        'https': 'socks5://LOGIN-resfix-us-nnid-TOKEN:PASSWORD@IP:9595', # Routes HTTPS traffic through SOCKS5

        'no_proxy': 'localhost,127.0.0.1'

    }

}

driver = webdriver.Chrome(options=options, seleniumwire_options=proxy_options)

try:

    driver.get("https://ipv4.icanhazip.com")

    print(driver.page_source)

finally:

    driver.quit()

Integrasi Node.js dan Java (Injeksi Extension)

Lingkungan Node.js dan Java tidak memiliki padanan langsung untuk selenium-wire. Secara historis, developer menyuntikkan ekstensi browser dinamis untuk menangani autentikasi. Penghentian lengkap Chrome terhadap ekstensi Manifest V2 membuat pendekatan tersebut tidak stabil dan usang.

Pipeline Node.js modern mengandalkan penerusan proxy lokal menggunakan library seperti proxy-chain. Script Anda menghasilkan server proxy lokal tanpa autentikasi yang secara diam-diam meneruskan lalu lintas ke CyberYozh App proxiesAnda yang aman. Anda memasukkan URL lokal ini langsung ke dalam opsi ChromeDriver standar.

Ambil setup Node.js ini untuk lingkungan produksi Anda:

javascript
const { Builder } = require('selenium-webdriver');

const chrome = require('selenium-webdriver/chrome');

const proxyChain = require('proxy-chain'); // npm install proxy-chain

// CyberYozh App Credentials

const proxyUrl = 'http://LOGIN-resfix-us-nnid-TOKEN:PASSWORD@IP:5959';

(async function run() {

    // Generate a local unauthenticated endpoint mapping to your secure proxy

    const localProxyUrl = await proxyChain.anonymizeProxy(proxyUrl);

    const options = new chrome.Options();

    options.addArguments(`--proxy-server=${localProxyUrl}`);

    options.addArguments('--ignore-certificate-errors');

    let driver = await new Builder().forBrowser('chrome').setChromeOptions(options).build();

    

    try {

        await driver.get('https://ipv4.icanhazip.com');

        let body = await driver.findElement({tagName: 'body'}).getText();

        console.log("Active IP:", body);

    } finally {

        await driver.quit();

        // Close the local forwarding server to free up system ports

        await proxyChain.closeAnonymizedProxy(localProxyUrl, true);

    }

})();

Adaptasi untuk Java: Dan jika Anda menulis dalam Java? Anda menggunakan metode routing lokal yang tepat ini. Alih-alih berjuang melawan kebijakan ekstensi browser, deploy daemon routing lokal seperti BrowserMob Proxy atau LittleProxy di dalam aplikasi Java Anda. Anda mengonfigurasi daemon dengan kredensial CyberYozh App Anda. Kemudian Anda menginstruksikan ChromeOptions Selenium Anda untuk merutekan lalu lintas melalui localhost:YOUR_PORT.

Kedua metode menjamin lalu lintas Anda dirutekan dengan bersih melalui protokol yang Anda tentukan tanpa memicu pop-up autentikasi atau peringatan keamanan.

Tooling platform untuk multi-accounting dan automasi

Infrastruktur Anda harus terhubung dengan bersih ke codebase yang ada. Toolchain yang terfragmentasi menciptakan latensi dan kesalahan logika. Anda membeli alamat IP dari satu vendor. Anda menyewa nomor telepon untuk verifikasi SMS dari vendor lain. Anda menghasilkan kartu pembayaran di tempat lain. Script Selenium Anda menyulap tiga API berbeda dengan waktu respons yang sama sekali berbeda. Ketika satu layanan eksternal gagal, seluruh pipeline Anda crash.

Anda memerlukan ekosistem all-in-one untuk multi-accounting dan ekstraksi data. CyberYozh App menyediakan arsitektur endpoint tunggal yang terpadu. Kami mengkonsolidasikan lapisan jaringan, saluran komunikasi, dan gateway pembayaran Anda ke dalam satu lingkungan yang aman. Anda mengelola operasi kompleks melalui dashboard throughput tinggi tanpa menginstal software eksternal yang berat.

Script scraping menghadapi verifikasi telepon setiap saat. Situs-situs ketat menuntut konfirmasi telepon dan metode pembayaran lokal untuk mengotorisasi profil baru. Platform kami mengatasi hambatan ini secara native. Anda menggunakan API penerimaan SMS CyberYozh App untuk menelusuri negara yang tersedia, memesan nomor telepon, dan mengambil kode verifikasi SMS langsung dalam kode Anda. Kami menyediakan layanan nomor virtual programatik ini bersama kartu bank virtual instan. Anda mengontrol siklus identitas lengkap dalam satu batas keamanan.

  • Luncurkan lebih cepat dengan template API SERP dan scraping siap pakai kami.

  • Lolos pemeriksaan telepon menggunakan nomor residensial asli dari ISP aktual.

  • Buat kartu bank virtual yang sesuai dengan lokasi proxy Anda secara sempurna.

  • Lacak log dan audit trail Anda dalam satu dashboard.

  • Skalakan otomasi berat Anda. Sistem memantau batas rate HTTP 429 untuk Anda.

👉 Tinjau endpoint API Penerimaan SMS untuk melihat cara meminta dan menerima kode otorisasi secara programatik.

Menskalakan pipeline Selenium dan mengelola biaya proxy

Otomasi berat menghabiskan bandwidth dengan cepat. Menjalankan browser headless menguras data. Scraping sepuluh ribu halaman target menghabiskan anggaran Anda secara instan jika Anda membayar tarif proxy retail standar. Anda memerlukan struktur harga yang dapat diprediksi untuk menghitung biaya operasional secara akurat. Kami membangun jaringan ini khusus untuk menangani skalabilitas masif untuk otomasi berat. Ini menyeimbangkan throughput data mentah dengan kontrol keuangan yang ketat.

Dan menskalakan operasi Anda seharusnya tidak menggandakan tingkat kegagalan Anda. Mendorong lebih banyak thread Selenium konkuren biasanya menghancurkan pool proxy murah. Node server crash. Koneksi terputus. Tetapi Anda menuntut kinerja stabil di bawah beban berat. Anda mendapatkan infrastruktur stabil tanpa membayar markup merek premium.

  • Turunkan biaya Anda dengan harga $0,9/GB.

  • Simpan traffic yang tidak terpakai. Kredit data residensial tidak pernah kedaluwarsa.

  • Bayar sesuai pemakaian dengan nol minimum saat Anda menguji pipeline Anda.

  • Tuntut SLA uptime 99,9%+ untuk pengaturan kustom Anda.

Mengamankan infrastruktur scraping Selenium Anda

Menjalankan Selenium melalui server data center standar menjamin kegagalan. Platform target menandai traffic steril secara instan. Script Anda crash. Anda akhirnya membuang waktu berjam-jam debugging koneksi terputus alih-alih benar-benar mengekstrak data.

Anda memerlukan lapisan jaringan profesional untuk menskalakan operasi Anda dengan aman. Merutekan webdriver otomatis Anda melalui pool IP residensial global yang masif dan bersumber secara etis sepenuhnya menghilangkan hambatan teknis ini. Ini melindungi jejak jaringan Anda di tingkat hardware. Anda berhenti melawan algoritma anti-bot yang agresif. Anda mulai beroperasi dengan prediktabilitas absolut.

Berhenti membiarkan filter keamanan platform merusak pipeline produksi Anda. Bangun arsitektur stabil yang menangani beban kerja otomasi berat secara native.

👉 Periksa Skor Fraud IP Anda - Lihat koneksi Anda persis seperti yang dilihat server tujuan.

👉 Mulai dengan $0,9 hari ini - Deploy proxy mobile dan residensial dengan kepercayaan tinggi untuk mengamankan ekstraksi data Selenium Anda.

FAQ tentang proxy residensial Selenium

Mengapa skrip Selenium saya diblokir meskipun menggunakan proxy?

Sebagian besar penyedia proxy murah mengeluarkan alamat IP dari pusat data komersial standar. Platform target memelihara database ketat dari rentang server ini. Ketika browser headless Anda mencapai firewall mereka, sistem langsung menandai tanda tangan jaringan yang steril. Anda memperbaiki ini dengan merutekan lalu lintas melalui kumpulan IP residensial global yang sangat besar. Ini memaksa server tujuan untuk melihat skrip Anda sebagai pengguna internet rumah yang sah.

Mengapa Selenium standar mengabaikan nama pengguna dan kata sandi proxy saya?

ChromeOptions asli di Selenium standar hanya menerima string IP dan port mentah. Jika Anda menyematkan nama pengguna dan kata sandi langsung ke dalam argumen, mesin browser hanya akan membuangnya. Server target kemudian menolak koneksi Anda. Anda harus menggunakan pustaka interceptor seperti selenium-wire di Python atau deploy forwarding lokal dengan proxy-chain di Node.js untuk menyuntikkan header autentikasi yang benar secara native.

Bisakah situs web mendeteksi Selenium jika saya menggunakan proxy residensial berkualitas tinggi?

Ya. Alamat IP yang bersih hanya mengamankan lapisan jaringan Anda. Platform target menjalankan tantangan JavaScript yang agresif untuk menginterogasi profil perangkat keras internal browser Anda. Selenium standar menyiarkan sinyal navigator.webdriver = true yang terang-terangan. Anda harus menghapus penanda otomasi default ini dan menyelaraskan data koordinat browser Anda dengan node proxy fisik untuk mencegah ketidakcocokan identitas yang mendalam.

Haruskah saya menggunakan proxy residensial yang berputar atau statis untuk manajemen akun?

Itu sepenuhnya tergantung pada operasi spesifik Anda. Menarik data publik dari ribuan halaman? Gunakan prefix -res-any. Ini mengubah IP Anda pada setiap permintaan sehingga Anda menghindari batas kecepatan. Tetapi jika Anda menjalankan toko e-commerce atau profil media sosial, Anda memerlukan alamat IP yang stabil. Deploy proxy ISP statis untuk mengunci satu IP rumah yang sangat terpercaya ke akun tertentu tanpa batas waktu.

Bagaimana cara mempertahankan tingkat keberhasilan proxy yang sangat tinggi selama scraping berat?

Mendorong ribuan thread bersamaan melalui satu gateway biasanya menghancurkan koneksi. Anda mempertahankan stabilitas dengan mendistribusikan beban Anda di ribuan node residensial yang berbeda. Pasangkan skala jaringan itu dengan kode yang cerdas. Tulis retry otomatis. Buang sleep yang hardcoded dan gunakan Explicit Waits (WebDriverWait) sebagai gantinya. Dan buang node yang buruk secara instan berdasarkan skor fraud langsung.

Bagaimana cara menguji konfigurasi jaringan saya sebelum meluncurkan Chrome?

Jangan pernah meluncurkan browser headless secara membabi buta. Anda membuang waktu berjam-jam untuk debugging timeout buta. Uji string IP:PORT:LOGIN:PASS yang tepat menggunakan perintah cURL terminal sederhana terlebih dahulu. Setelah gateway proxy menerima kredensial Anda, jalankan node yang ditetapkan melalui pemeriksa Fraud Score. Audit dua langkah yang ketat ini mengonfirmasi keterjangkauan fisik Anda dan mengevaluasi risiko IP Anda sebelum skrip Anda menjalankan tindakan pertamanya.

Bagaimana cara mengurangi biaya bandwidth saat menjalankan otomasi Selenium yang berat?

Memuat halaman web grafis penuh menghabiskan data dengan cepat. Jika Anda membayar untuk lalu lintas residensial per gigabyte, ini menguras anggaran Anda. Anda dapat memangkas biaya operasional dengan mengonfigurasi ChromeOptions untuk memblokir aset grafis yang tidak perlu. Beri tahu webdriver Anda untuk memblokir gambar, CSS, dan font kustom. Skrip Anda dijalankan lebih cepat dan mengonsumsi sebagian kecil dari bandwidth, menciptakan pipeline ekstraksi data yang sangat hemat biaya.