Cara menggunakan proxy untuk mengumpulkan data dari marketplace (Parsing, analitik, intelijen kompetitif)

Dalam dunia e-commerce, data adalah minyak baru. Siapa pun yang memiliki informasi tentang harga, pilihan produk, dan strategi pesaing, dialah yang menguasai pasar. Marketplace seperti Amazon, Ozon, Wildberries, atau Alibaba adalah basis data raksasa yang terus diperbarui dan berisi informasi berharga tersebut. Mendapatkannya berarti memperoleh keunggulan kompetitif yang krusial.

Satu-satunya cara untuk menambang data ini dalam skala industri adalah melalui parsing (atau web scraping). Namun, ada satu masalah: marketplace sangat menyadari hal ini dan aktif melindungi diri mereka sendiri.

Dalam artikel ini, kita akan membahas cara membangun sistem pengumpulan data yang efisien dan terukur untuk analisis dan intelijen kompetitif menggunakan konfigurasi proksi yang tepat.

Catatan Penting: Saat mengotomatiskan pengumpulan data, pastikan tindakan Anda mematuhi hukum (termasuk GDPR dan DMCA) dan tidak melanggar Ketentuan Layanan (ToS) dari platform target. Gunakan proksi secara bertanggung jawab: hindari beban kritis pada server dan patuhi etika web scraping.

Mengapa Marketplace Tidak Ingin Data Mereka Di-parsing?

Pengumpulan data secara manual tidak efisien dan lambat. Pengumpulan otomatis (parsing) memungkinkan perolehan data dalam jumlah besar dalam waktu singkat. Itulah sebabnya marketplace membangun berbagai lapisan pertahanan:

• Pemblokiran berdasarkan IP. Metode perlindungan yang paling dasar dan efektif. Jika jumlah permintaan yang tidak wajar datang dari satu alamat IP, alamat tersebut akan segera diblokir sementara atau permanen.
• Rate Limiting (Pembatasan frekuensi permintaan). Sistem mengizinkan, misalnya, tidak lebih dari 30 permintaan per menit dari satu IP. Segala sesuatu yang melebihi batas akan diblokir.
• CAPTCHA. Jika sistem mendeteksi tanda-tanda otomatisasi, sistem akan menyodorkan captcha kepada pengguna yang tidak dapat dilewati oleh parser standar.
• Geo-blocking (Pemblokiran Geografis). Harga, pilihan produk, dan kondisi pengiriman pada marketplace yang sama dapat berbeda drastis bagi pengguna dari AS dan Jerman. Tanpa alamat IP dari wilayah yang tepat, Anda tidak akan melihat data yang relevan.

• Analisis Fingerprint (Sidik Jari Digital). Sistem canggih menganalisis ratusan parameter browser Anda. Contoh hal yang diperiksa oleh marketplace:

  • Canvas dan WebGL fingerprinting: Situs web memaksa browser untuk menggambar bentuk tersembunyi secara tidak terlihat. Cara kartu grafis dan driver Anda merender piksel menciptakan pengidentifikasi unik perangkat.

  • Audio fingerprinting: Memeriksa bagaimana sistem Anda memproses sinyal audio.

  • Header teknis: Ketidakcocokan antara versi User-Agent dengan font yang diinstal atau resolusi layar akan langsung menandai Anda sebagai bot.

Proksi — Kunci Anda Menuju Data. Tapi Bukan Sembarang Proksi.

Server proksi adalah fondasi teknologi dari setiap parser profesional. Proksi bertindak sebagai perantara cerdas: merutekan permintaan Anda melalui berbagai alamat IP untuk memastikan pengumpulan data beban tinggi dan menjaga privasi.

Namun, perlu dipahami: dalam realitas saat ini, bahkan proksi dengan kualitas terbaik pun memerlukan integrasi yang benar. Untuk mendapatkan data secara stabil di bawah beban intensif, proksi harus disematkan dengan benar ke dalam arsitektur Anda. Jika IP Anda adalah alamat residensial yang "bersih", tetapi parameter permintaan dikonfigurasi secara salah, sistem tetap dapat menolak koneksi.

Untuk mencapai hasil maksimal, proksi harus dikombinasikan dengan pengaturan header yang tepat dan manajemen frekuensi permintaan untuk memastikan koneksi yang stabil.

Mengapa Tipe Proksi Sangat Menentukan?

Tidak semua jenis koneksi cocok untuk mem-parsing marketplace. Di bawah ini kita akan membahas tipe-tipe utama dan menentukan tugas mana yang paling efektif untuk masing-masing tipe.

Tipe Proksi dan Kegunaannya:

Proksi Residensial Rotasi  — Pilihan No. 1 untuk parsing massal

Ini adalah alamat IP dinamis dari pengguna rumahan asli.

• Keunggulan: Pool yang sangat besar (jutaan IP) di seluruh dunia. Permintaan dari alamat tersebut bagi marketplace terlihat seperti kunjungan pembeli biasa melalui Wi-Fi rumahan.

• Putusan: Ideal untuk mengumpulkan kumpulan data besar: pemantauan harga, stok, dan konten kartu produk.

• Pengaturan Sesi yang Fleksibel: Tergantung pada tugas Anda, Anda dapat memilih satu dari tiga mode operasi:

  1. IP Acak: Perubahan alamat otomatis untuk setiap permintaan baru.

  2. Sesi Singkat: Menahan satu IP untuk jangka waktu hingga 1 menit (nyaman untuk rangkaian tindakan cepat).

  3. Sesi Panjang (Sticky): Menetapkan IP untuk jangka waktu lama — tepatnya hingga 6 jam (diperlukan untuk mensimulasikan kunjungan lama pengguna di situs).

Proksi Residensial Statis (ISP)  — Untuk pekerjaan jangka panjang

Ini adalah IP bersih dari penyedia internet rumahan yang ditetapkan untuk Anda selama masa sewa.

• Keunggulan: Menggabungkan kepercayaan dari alamat residensial dan stabilitas saluran server. IP tidak berubah, yang sangat penting bagi sistem perlindungan.

• Putusan: Sangat diperlukan untuk mengelola akun penjual, mengelola dasbor iklan, dan bekerja dengan akun pribadi di mana alamat IP yang konstan sangat penting untuk menjaga akses yang aman dan berkelanjutan ke sumber daya perusahaan.

Proksi Seluler Privat  — Solusi ultimat

Menggunakan alamat IP dari operator seluler (4G/5G).

• Keunggulan: Tingkat kepercayaan tertinggi. Berkat teknologi CGNAT, satu IP digunakan bersama oleh ribuan orang asli, sehingga marketplace hampir tidak pernah memblokir alamat tersebut.

• Port Khusus (Dedicated): Untuk memastikan persentase koneksi sukses yang tinggi dan komunikasi yang andal di lingkungan yang kompleks, beban tinggi, dan arsitektur parsing yang menuntut, kami merekomendasikan port seluler khusus. Port ini memberikan saluran individu, kecepatan maksimal, dan stabilitas tanpa gangguan dari "tetangga".

Proksi Server (Datacenter)

• • Keunggulan: Kecepatan tinggi dan harga rendah.

  • Putusan: Hanya cocok untuk situs kecil atau bekerja melalui API resmi. Platform besar sering kali memiliki persyaratan koneksi yang ketat, membuat proksi server kurang efektif untuk tugas pengumpulan data yang intensif sumber daya.

Kekhususan Bekerja dengan Proksi Seluler di Antarmuka

Manajemen proksi seluler memiliki fitur uniknya sendiri di dasbor. Tidak seperti tipe lainnya, dalam kartu produk ini disediakan tautan API khusus untuk rotasi (penggantian IP). Anda perlu menemukannya di antarmuka, karena alamat inilah yang digunakan untuk pembaruan IP otomatis di dalam kode program atau skrip Anda.

Gbr. 1. Lokasi tautan untuk rotasi otomatis di kartu Proksi Seluler.

Selain otomatisasi perangkat lunak, dalam CyberYozh App juga tersedia fitur manajemen manual. Jika Anda perlu memperbarui alamat IP secara instan tanpa menunggu skrip berjalan, Anda dapat melakukannya dengan satu klik langsung di panel kontrol.

Gbr. 2. Tombol untuk penggantian IP manual secara paksa di dasbor.

Detail Teknis: Sesi, Rotasi, dan Infrastruktur

Memilih tipe proksi hanyalah permulaan. Untuk parsing profesional, parameter lain juga sangat penting.

• Infrastruktur Parsing. Ingatlah bahwa proksi hanyalah bagian dari sistem. Parsing yang efektif membutuhkan:
• Parser yang andal: Skrip atau program (misalnya, dalam Python menggunakan pustaka Scrapy, BeautifulSoup, Selenium) yang mampu memproses kode HTML.
• Manajemen User-Agent dan Header: Parser Anda harus dikonfigurasi untuk bekerja dengan header dinamis dan rotasi User-Agent demi menjaga kompatibilitas dan stabilitas.
• Penanganan Kesalahan: Mekanisme yang akan menangani timeout dan kesalahan dengan benar, mengulangi permintaan yang gagal melalui proksi lain.

Manajemen proksi residensial rotasi diimplementasikan secara fleksibel. Anda dapat mengonfigurasi parameter secara manual melalui prefiks di login, atau menggunakan generator bawaan di dasbor.

Manajemen melalui Dasbor (Metode yang Direkomendasikan)

Untuk mendapatkan pengaturan siap pakai, cukup masuk ke bagian "Proksi Saya" dan pada kartu paket yang dibeli, klik tombol "Hasilkan kredensial".

Di menu yang terbuka, Anda dapat memilih secara visual:

• Geolokasi: negara, wilayah/provinsi, dan kota spesifik (untuk sesi panjang hanya negara).

• Tipe Sesi: IP acak, sesi singkat (ID sesi - hingga 1 menit), atau sesi panjang (ID sesi panjang - hingga 6 jam).

• Protokol: HTTP atau SOCKS5.

• Format Output: Di generator kami tersedia 3 format output untuk kemudahan penyalinan ke perangkat lunak apa pun:

  • IP:PORT (IP:PORT:USER:PASS)

  • USER:PASS (USER:PASS@IP:PORT)

  • PROTOCOL (http://USER:PASS@IP:PORT)

Generator akan secara otomatis membentuk string koneksi yang benar dengan semua prefiks yang diperlukan.

Gbr. 3. Transisi ke antarmuka pembuatan konfigurasi dan parameter koneksi (generator kredensial).

Gbr. 4. Penggunaan generator untuk mengatur parameter sid yang bertanggung jawab untuk pembuatan sesi unik baru.

Gbr. 5. Pengaturan parameter untuk pembentukan kredensial menggunakan sesi panjang (Sticky).

Gbr. 6. Hasil kerja generator kredensial.

Jenis Sesi dan Manajemen Prefiks Manual

Jika Anda mengonfigurasi logika penggantian IP langsung di kode skrip Anda, gunakan sistem prefiks:

Nuansa Penting Pengaturan Manual:

• Sesi Singkat: Dalam prefiks -sid-47551677 Anda dapat menggunakan angka acak apa pun dengan panjang yang sama untuk pembuatan sesi baru secara instan.

• Prefiks Geo di Sesi Singkat: Misalnya, -res_sc-us_georgia_macon-sid-12345 akan merutekan trafik Anda melalui kota Macon, negara bagian Georgia.

• Sesi Panjang (Sticky): Untuk bekerja secara manual, Anda perlu mendapatkan token X-NN-LLS melalui permintaan curl uji coba dan memasukkannya ke login menggantikan 0 setelah -nnid-. Melalui generator di dasbor, token ini dimasukkan secara otomatis.

Memeriksa Proksi Melalui Terminal (curl)

Cara tercepat untuk memastikan semuanya dikonfigurasi dengan benar adalah dengan menjalankan permintaan di konsol. Ini memungkinkan Anda melihat header teknis server dan memverifikasi kebenaran prefiks.

1. Memeriksa IP Residensial Acak

Gunakan format ini jika Anda membutuhkan rotasi tinggi (pergantian IP untuk setiap permintaan):

curl -v -x http://LOGIN-res-any:PASSWORD@51.77.190.247:5959 https://ipv4.icanhazip.com

2. Bekerja dengan Sesi Panjang (Sticky hingga 6 jam)

Untuk mengaktifkan sesi panjang secara manual, perlu melalui dua tahap:

Tahap A: Mendapatkan Token Sesi Jalankan permintaan dengan menentukan 0 pada parameter nnid:

curl -v -x http://LOGIN-resfix-us-nnid-0:PASSWORD@51.77.190.247:5959 https://ipv4.icanhazip.com

Di sini us — prefiks negara (USA), yang dapat diganti dengan kode negara lain yang tersedia.

Tahap B: Ekstraksi dan Penggunaan Token

Dalam respons server, temukan baris dengan header X-NN-LLS: HTTP/1.1 200 Connection established X-NN-LLS: 9d016e262509d3827293

Salin token yang diperoleh (9d016e262509d3827293) dan masukkan menggantikan 0 di login untuk semua permintaan selanjutnya guna mempertahankan IP yang sama: 51.77.190.247:5959:LOGIN-resfix-us-nnid-9d016e262509d3827293:PASSWORD

💡 Tips: Agar tidak melakukan tindakan ini secara manual, gunakan Generator Kredensial di dasbor CyberYozh App. Saat memilih "ID sesi panjang", sistem akan secara otomatis membuat dan memberikan login siap pakai dengan token yang sudah aktif untuk negara yang dipilih.

Kesimpulan: Dari Data Menuju Strategi

Intelijen kompetitif di marketplace bukanlah sihir, melainkan teknologi. Dasarnya adalah proses pengumpulan data yang dibangun dengan baik, dan fondasi dari proses tersebut adalah proksi berkualitas yang dipilih dengan tepat.

Menghemat biaya proksi saat melakukan parsing adalah kesalahan paling mahal yang berujung pada data yang tidak lengkap, alat yang diblokir, dan pada akhirnya, keputusan bisnis yang salah. Berinvestasilah pada infrastruktur yang andal, dan Anda akan mendapatkan akses ke informasi yang akan menjadi kartu as utama Anda dalam persaingan.

👉 Mencari solusi parsing yang andal?  Proksi residensial rotasi kami  menyediakan akses ke jutaan IP bersih di seluruh dunia dengan manajemen sesi yang fleksibel. Ini adalah alat yang ideal untuk mengumpulkan data dari marketplace mana pun, bahkan yang paling terlindungi sekalipun.