Cara menggunakan proxy untuk mengumpulkan data dari marketplace (Parsing, analitik, intelijen kompetitif)

Dalam dunia e-commerce, data adalah "minyak baru". Siapa pun yang memiliki informasi tentang harga, stok barang, dan strategi pesaing, dialah yang menguasai pasar. Marketplace seperti Amazon, Ozon, Wildberries, atau Alibaba adalah basis data raksasa yang terus diperbarui dan berisi informasi berharga ini. Mendapatkannya berarti mendapatkan keunggulan kompetitif yang krusial.

Satu-satunya cara untuk menambang data ini dalam skala industri adalah melalui parsing (atau web scraping). Namun ada masalah: marketplace sangat menyadari hal ini dan aktif melindungi diri mereka sendiri.

Dalam artikel ini, kita akan membahas bagaimana sistem perlindungan marketplace bekerja dan bagaimana menggunakan proksi serta teknologi yang tepat untuk membangun sistem pengumpulan data yang efektif untuk analisis dan intelijen kompetitif.

Catatan Penting: Saat mengotomatiskan pengumpulan data, pastikan tindakan Anda mematuhi hukum (termasuk GDPR dan DMCA) dan tidak melanggar Ketentuan Layanan (ToS) platform target. Gunakan proksi secara bertanggung jawab: hindari beban kritis pada server dan patuhi etika web scraping.

Mengapa marketplace tidak ingin data mereka di-parsing?

Pengumpulan data secara manual tidak efisien dan lambat. Pengumpulan otomatis (parsing) memungkinkan perolehan data dalam jumlah besar dalam waktu singkat. Itulah sebabnya marketplace membangun berbagai lapisan pertahanan:

• Pemblokiran berdasarkan IP. Metode perlindungan yang paling dasar dan efektif. Jika satu alamat IP mengirimkan permintaan dalam jumlah besar yang tidak wajar, IP tersebut akan segera terkena pemblokiran sementara atau permanen.
• Rate Limiting (Pembatasan frekuensi permintaan). Sistem mengizinkan, misalnya, tidak lebih dari 30 permintaan per menit dari satu IP. Segala sesuatu yang melebihi batas akan diblokir.
• CAPTCHA. Jika sistem mendeteksi tanda-tanda otomatisasi, sistem akan menyodorkan captcha kepada pengguna yang tidak dapat dilewati oleh parser standar.
• Geo-blocking (Pemblokiran Geografis). Harga, ketersediaan barang, dan syarat pengiriman pada marketplace yang sama bisa sangat berbeda bagi pengguna di AS dan Jerman. Tanpa alamat IP dari wilayah yang relevan, Anda tidak akan melihat data yang akurat.

• Analisis Fingerprint (Sidik Jari Digital). Sistem canggih menganalisis ratusan parameter browser Anda. Contoh hal-hal yang diperiksa oleh marketplace:

  • Canvas dan WebGL fingerprinting: Situs web memaksa browser untuk menggambar gambar tersembunyi secara diam-diam. Cara kartu grafis dan driver Anda merender piksel menciptakan identitas unik untuk perangkat tersebut.

  • Audio fingerprinting: Pemeriksaan tentang bagaimana sistem Anda memproses sinyal audio.

  • Technical Headers: Ketidaksesuaian antara versi User-Agent dengan font yang terpasang atau resolusi layar akan langsung menandai Anda sebagai bot.

Proksi — Kunci Anda menuju data. Tapi tidak sembarang proksi.

Server proksi adalah fondasi teknologi dari setiap parser profesional. Proksi bertindak sebagai perantara cerdas: menyembunyikan alamat asli Anda dan memungkinkan simulasi permintaan dari ribuan pengguna unik dari mana saja di dunia.

Namun perlu dipahami: dalam realitas saat ini, bahkan proksi berkualitas tinggi sekalipun tidak menjamin perlindungan 100% dari pemblokiran jika digunakan tanpa alat pendukung lainnya. Marketplace menganalisis kombinasi faktor. Jika IP Anda adalah alamat residensial yang "bersih", tetapi sidik jari digital (Fingerprint) menunjukkan Anda adalah bot, sistem tetap akan memberikan batasan.

Untuk mencapai hasil maksimal, proksi harus dikombinasikan dengan teknologi anti-detect, pengaturan header yang tepat, dan jeda antar permintaan yang menyerupai perilaku manusia.

Mengapa jenis proksi sangat menentukan?

Tidak semua jenis koneksi cocok untuk mem-parsing marketplace. Di bawah ini kita akan membahas jenis-jenis utama dan menentukan tugas mana yang paling efektif untuk masing-masing jenis.

Jenis-jenis proksi dan kegunaannya:

Proksi Residensial Rotasi — Pilihan No. 1 untuk parsing massal

Ini adalah alamat IP dinamis dari pengguna rumahan asli.

• Kelebihan: Pool besar (jutaan IP) di seluruh dunia. Permintaan dari alamat seperti ini terlihat oleh marketplace sebagai kunjungan pembeli biasa melalui Wi-Fi rumah.

• Keputusan: Sangat ideal untuk mengumpulkan kumpulan data besar: pemantauan harga, stok, dan konten kartu produk.

• Pengaturan Sesi Fleksibel: Tergantung pada tugas Anda, Anda dapat memilih satu dari tiga mode kerja:

  1. IP Acak: Perubahan alamat otomatis untuk setiap permintaan baru.

  2. Sesi Pendek: Menahan satu IP untuk jangka waktu hingga 1 menit (berguna untuk rantai tindakan cepat).

  3. Sesi Panjang (Sticky): Fiksasi IP untuk jangka waktu lama — maksimal hingga 6 jam (diperlukan untuk meniru durasi kunjungan pengguna yang lama di situs).

Proksi Residensial Statis (ISP) — Untuk pekerjaan jangka panjang

Ini adalah IP bersih dari penyedia layanan internet rumahan yang ditetapkan untuk Anda selama masa sewa.

• Kelebihan: Menggabungkan kepercayaan alamat residensial dan stabilitas saluran server. IP tidak berubah, yang sangat kritis untuk sistem perlindungan.

• Keputusan: Sangat diperlukan untuk mengelola akun penjual, mengelola akun iklan, dan bekerja dengan akun pribadi di mana setiap perubahan atau rotasi IP dapat menyebabkan pemblokiran profil seketika.

Proksi Privat Seluler — Solusi pamungkas

Menggunakan alamat IP dari operator seluler (4G/5G).

• Kelebihan: Tingkat kepercayaan tertinggi. Berkat teknologi CGNAT, satu IP digunakan bersama oleh ribuan orang asli, sehingga marketplace hampir tidak pernah memblokir alamat tersebut.

• Dedicated Ports: Untuk kasus yang sangat sulit (pendaftaran akun, melewati perlindungan tingkat Amazon/Akamai), kami merekomendasikan port khusus seluler. Ini memberikan saluran individu, kecepatan maksimal, dan stabilitas tanpa gangguan dari "tetangga".

Proksi Server (Datacenter)

• • Kelebihan: Kecepatan tinggi dan harga murah.

  • Keputusan: Hanya cocok untuk situs kecil dengan perlindungan lemah atau bekerja melalui API resmi. Marketplace besar melihat mereka sebagai "bot" dan memblokir seluruh subnet.

Spesifikasi bekerja dengan Proksi Seluler di antarmuka

Pengelolaan proksi seluler memiliki fitur unik tersendiri di akun pribadi. Berbeda dengan jenis lainnya, pada kartu produk ini tersedia tautan API khusus untuk rotasi (penggantian IP). Anda perlu menemukannya di antarmuka, karena alamat inilah yang digunakan untuk pembaruan IP otomatis di dalam kode program atau skrip Anda.

Gbr 1. Lokasi tautan untuk rotasi otomatis di kartu Proksi Seluler.

Selain otomatisasi program, di CyberYozh App tersedia fitur pengelolaan manual. Jika Anda perlu memperbarui alamat IP secara instan tanpa menunggu skrip berjalan, Anda dapat melakukannya dengan satu klik langsung di panel kontrol.

Gbr 2. Tombol untuk penggantian alamat IP manual secara paksa di akun pribadi.

Detail Teknis: Sesi, Rotasi, dan Infrastruktur

Memilih jenis proksi hanyalah permulaan. Untuk parsing profesional, parameter lain juga penting.

• Infrastruktur Parsing. Ingatlah bahwa proksi hanyalah bagian dari sistem. Parsing yang efektif membutuhkan:
• Parser yang Andal: Skrip atau program (misalnya, di Python menggunakan library Scrapy, BeautifulSoup, Selenium) yang mampu memproses kode HTML.
• Rotasi User-Agent dan Header: Parser Anda harus berpura-pura menjadi browser dan perangkat yang berbeda, terus-menerus mengubah tidak hanya IP tetapi juga technical header.
• Penanganan Kesalahan: Mekanisme yang akan menangani pemblokiran sementara, captcha, dan kesalahan dengan benar, serta mengulangi permintaan yang gagal melalui proksi lain.

Pengelolaan proksi residensial rotasi diimplementasikan dengan sangat fleksibel. Anda dapat mengonfigurasi parameter secara manual melalui awalan (prefix) di login, atau menggunakan generator bawaan di akun pribadi.

Pengelolaan melalui akun pribadi (Metode yang direkomendasikan)

Untuk mendapatkan pengaturan yang siap pakai, cukup buka bagian «Proksi Saya» dan pada kartu paket yang dibeli, klik tombol «Buat kredensial».

Di menu yang terbuka, Anda dapat memilih secara visual:

• Geolokasi: negara, wilayah/negara bagian, dan kota tertentu (untuk sesi panjang hanya negara).

• Tipe sesi: IP acak, sesi pendek (ID sesi - hingga 1 menit), atau sesi panjang (ID sesi panjang - hingga 6 jam).

• Protokol: HTTP atau SOCKS5.

• Format output: Dalam generator kami tersedia 3 format output untuk penyalinan mudah ke perangkat lunak apa pun:

  • IP:PORT (IP:PORT:USER:PASS)

  • USER:PASS (USER:PASS@IP:PORT)

  • PROTOCOL (http://USER:PASS@IP:PORT)

Generator akan secara otomatis membentuk string koneksi yang benar dengan semua awalan yang diperlukan.

Gbr 3. Transisi ke antarmuka pembuatan konfigurasi dan parameter koneksi (generator kredensial).

Gbr 4. Penggunaan generator untuk mengatur parameter sid, yang bertanggung jawab untuk pembuatan sesi unik baru.

Gbr 5. Pengaturan parameter untuk pembentukan kredensial menggunakan sesi panjang (Sticky).

Gbr 6. Hasil kerja generator kredensial.

Jenis sesi dan pengelolaan awalan manual

Jika Anda mengonfigurasi logika penggantian IP langsung di kode skrip Anda, gunakan sistem awalan (prefix):

Nuansa penting pengaturan manual:

• Sesi pendek: Pada awalan -sid-47551677 Anda dapat menggunakan angka acak apa pun dengan panjang yang sama untuk membuat sesi baru secara instan.

• Awalan Geo pada sesi pendek: Misalnya, -res_sc-us_georgia_macon-sid-12345 akan mengarahkan lalu lintas Anda melalui kota Macon, negara bagian Georgia.

• Sesi Panjang (Sticky): Untuk bekerja secara manual, Anda perlu mendapatkan token X-NN-LLS melalui permintaan curl uji coba dan memasukkannya ke login menggantikan 0 setelah -nnid-. Melalui generator di akun pribadi, token ini dimasukkan secara otomatis.

Pemeriksaan proksi melalui terminal (curl)

Cara tercepat untuk memastikan semuanya dikonfigurasi dengan benar adalah dengan menjalankan permintaan di konsol. Ini memungkinkan Anda melihat technical header server dan memeriksa kebenaran kerja awalan.

1. Pemeriksaan IP residensial acak

Gunakan format ini jika Anda membutuhkan rotasi tinggi (penggantian IP untuk setiap permintaan):

curl -v -x http://LOGIN-res-any:PASSWORD@51.77.190.247:5959 https://ipv4.icanhazip.com

2. Bekerja dengan sesi panjang (Sticky hingga 6 jam)

Untuk mengaktifkan sesi panjang secara manual, diperlukan dua tahap:

Tahap A: Mendapatkan token sesi Jalankan permintaan dengan menentukan 0 pada parameter nnid:

curl -v -x http://LOGIN-resfix-us-nnid-0:PASSWORD@51.77.190.247:5959 https://ipv4.icanhazip.com

Di sini us — awalan negara (USA), yang dapat diganti dengan kode negara lain yang tersedia.

Tahap B: Ekstraksi dan penggunaan token

Dalam respons server, temukan baris dengan header X-NN-LLS: HTTP/1.1 200 Connection established X-NN-LLS: 9d016e262509d3827293

Salin token yang diperoleh (9d016e262509d3827293) dan masukkan menggantikan 0 di login untuk semua permintaan berikutnya guna mempertahankan IP yang sama: 51.77.190.247:5959:LOGIN-resfix-us-nnid-9d016e262509d3827293:PASSWORD

💡 Tips: Agar tidak perlu melakukan langkah-langkah ini secara manual, gunakan Generator Kredensial di akun pribadi CyberYozh App. Saat memilih "ID sesi panjang", sistem akan secara otomatis membuatkan login yang sudah siap dengan token aktif untuk negara yang dipilih.

Kesimpulan: Dari data menuju strategi

Intelijen kompetitif di marketplace bukanlah sihir, melainkan teknologi. Dasarnya adalah proses pengumpulan data yang dibangun dengan baik, dan fondasi dari proses ini adalah proksi berkualitas yang dipilih dengan tepat.

Menghemat biaya proksi saat parsing adalah kesalahan paling mahal yang menyebabkan data tidak lengkap, alat yang terblokir, dan pada akhirnya, keputusan bisnis yang salah. Berinvestasilah pada infrastruktur yang andal, dan Anda akan mendapatkan akses ke informasi yang akan menjadi kartu truf utama Anda dalam persaingan.

👉 Mencari solusi parsing yang andal? Proksi residensial rotasi kami menyediakan akses ke jutaan IP bersih di seluruh dunia dengan manajemen sesi yang fleksibel. Ini adalah alat yang ideal untuk mengumpulkan data dari marketplace mana pun, bahkan yang paling terlindungi sekalipun.