Proxy untuk Screaming Frog

Screaming Frog SEO Spider — adalah, tanpa berlebihan, alat kerja utama untuk audit SEO teknis. Program canggih ini mampu merayapi ribuan URL, mengumpulkan data krusial tentang struktur situs, tag meta, kode respons, dan banyak lagi. Namun, saat bekerja dengan proyek besar atau menganalisis pesaing, setiap spesialis menghadapi batasan mendasar:

Pembatasan Akses (Rate Limiting): Situs web besar dan CDN (Content Delivery Networks) menggunakan WAF (Web Application Firewall) untuk melindungi dari beban tinggi. Pemindaian intensif dari satu alamat IP sering kali melebihi batas server, yang dapat menyebabkan pemutusan koneksi atau pembatasan akses.
Konten Berbasis Geo (Geo-dependent Content): Situs web mungkin menampilkan konten, harga, atau bahkan versi bahasa yang berbeda tergantung pada geolokasi pengguna. Dengan merayapi situs dari negara Anda sendiri, Anda berisiko tidak melihat apa yang dilihat audiens target Anda, misalnya, di AS atau Jerman.
Pengecekan Cloaking: Beberapa situs yang tidak jujur menunjukkan satu versi konten kepada robot mesin pencari (seperti Googlebot) dan versi lain kepada pengguna asli. Untuk mendeteksi ini, analisis perlu dirutekan melalui alamat IP yang terkait dengan wilayah mesin pencari untuk memverifikasi konten tepat yang ditampilkan.

Solusi untuk semua masalah ini adalah pengaturan server proxy yang tepat langsung di dalam Screaming Frog. Ini mengubah perayap standar menjadi alat yang ampuh untuk analisis SEO yang komprehensif dan tidak bergantung pada lokasi.

Bagian 1. Strategi: Proxy Apa yang Dibutuhkan untuk Screaming Frog?

Pilihan proxy tergantung pada tujuan pemindaian. Pilihan yang salah akan menyebabkan pengeluaran yang tidak perlu atau pemutusan koneksi instan karena batas server.

1. Proxy Pusat Data (Datacenter) — Untuk proyek pribadi dan audit teknis

Apa itu: IP berkecepatan tinggi dari pusat data.
Kegunaan: Audit situs web sendiri (di mana Anda dapat memasukkan IP ke daftar putih), memeriksa situs klien, bekerja dengan sumber daya tanpa perlindungan.
Kelebihan: Kecepatan pemindaian maksimal, harga rendah.
Kekurangan: Sering kali terkena pembatasan pada situs web eksternal.

2. Proxy Residensial (ISP/Residential) — Untuk analisis pesaing

Apa itu: Alamat IP dari penyedia layanan internet rumah asli.
Kegunaan: Merayapi situs pesaing, marketplace, aggregator.
Mengapa: IP ini menyediakan perutean residensial standar. Ini memungkinkan pemrosesan halaman dalam jumlah besar secara lancar tanpa memicu pembatasan otomatis.
👉 Baca selengkapnya tentang proxy residensial di sini

3. Proxy Seluler (4G/5G) — Untuk mengecek hasil pencarian seluler

Apa itu: IP dari operator seluler.
Kegunaan: Mengecek bagaimana situs ditampilkan untuk pengguna seluler, akses ke konten yang sangat terlokalisasi.
Mengapa: Jika situs menggunakan "cloaking" (menampilkan konten berbeda untuk desktop dan seluler), proxy seluler yang dipadukan dengan User-Agent smartphone akan membantu Anda memverifikasi pengalaman pengguna nyata di perangkat seluler.
👉 Baca selengkapnya tentang proxy seluler di sini

Bagian 2: Panduan Langkah demi Langkah Pengaturan Proxy di Screaming Frog

Proses pengaturannya intuitif dan hanya memakan waktu beberapa menit. Anda akan memerlukan data proxy Anda: alamat IP, port, dan data otorisasi (username/password).

Langkah 1: Kumpulkan Kredensial Proxy

Langkah pertama dan terpenting adalah memastikan Anda memiliki set data otorisasi yang lengkap. "Kunci" ini akan memungkinkan aplikasi atau browser Anda terhubung ke server proxy dan mengarahkan lalu lintas melaluinya.

Pastikan untuk menyiapkan data berikut:

Alamat IP (host server)
Port untuk koneksi
Username dan Password untuk otorisasi
Tipe protokol (HTTP/HTTPS atau SOCKS5)

Gbr. 1. Cuplikan layar ini menunjukkan di mana semua bidang yang diperlukan untuk terhubung ke server proxy berada di dalam akun pribadiCyberYozh App.

Langkah 2: Menuju Pengaturan Proxy

Jalankan Screaming Frog SEO Spider.
Di menu atas, buka bagian «File» -> «Settings...» -> «Proxy».

Gbr. 2. Cuplikan layar ini menunjukkan menu dropdown «File» -> «Settings...», di mana Anda harus memilih item «Proxy» untuk menuju ke pengaturan.

Langkah 3: Aktivasi dan Input Data

Di jendela «Settings» yang terbuka, buka tab «Proxy».
Centang kotak di sebelah «Use Proxy Server» untuk mengaktifkan fungsi tersebut.

Gbr. 3. Cuplikan layar ini menunjukkan jendela «Settings», di mana Anda harus mencentang kotak di sebelah «Use Proxy Server» untuk mengaktifkan fungsi.

Di kolom «Address» masukkan alamat IP proxy Anda, dan di kolom «Port» — port-nya.
Jika proxy Anda memerlukan otorisasi (yang merupakan standar untuk proxy berkualitas), aktifkan opsi «Use Proxy Credentials».

Gbr. 4. Cuplikan layar ini menunjukkan proses aktivasi opsi «Use Proxy Credentials».

Isi kolom «Username» dan «Password».
Setelah memasukkan semua data, klik tombol «OK and Restart». Program akan dimulai ulang secara otomatis untuk menerapkan pengaturan jaringan baru.

Gbr. 5. Cuplikan layar ini menunjukkan tahap akhir penyimpanan pengaturan: setelah memasukkan semua data, termasuk username dan password, Anda harus mengeklik tombol «OK and Restart».

Bagian 3: Pengecekan dan Verifikasi Kerja Proxy

Pengaturan telah selesai, tetapi bagaimana cara memastikan bahwa pemindai benar-benar bekerja melalui proxy? Mari lakukan perayapan uji coba sederhana.

Langkah 4: Pemindaian Uji Coba

Sebagai URL target, kita akan menggunakan layanan khusus untuk mengecek IP — https://browserleaks.com/ip. Ini akan memungkinkan kita melihat secara tepat dari alamat IP mana permintaan dari Screaming Frog berasal.
Tempel URL ini ke kolom utama dan klik «Start».

Gbr. 6. Cuplikan layar ini menunjukkan persiapan pemindaian uji coba: URL situs https://browserleaks.com/ip dimasukkan ke dalam kolom utama program untuk verifikasi.

Langkah 5: Analisis Hasil

Tunggu hingga pemindaian selesai. Di jendela utama, Anda akan melihat daftar URL yang telah dirayapi.

Gbr. 7. Cuplikan layar ini menunjukkan hasil pemindaian. Jendela utama menampilkan daftar URL yang dirayapi, dan diagram di sebelah kanan menunjukkan distribusi jenis konten.

Untuk melihat secara visual sumber daya apa yang diminta pemindai, Anda dapat menggunakan visualisasi. Klik kanan pada URL utama (https://browserleaks.com/ip), pilih «Visualisations» -> «Crawl Tree Graph».

Gbr. 8. Cuplikan layar ini menunjukkan cara visualisasi hasil: melalui menu konteks untuk URL utama, pilih item «Visualisations» -> «Crawl Tree Graph».

Langkah 6: Verifikasi Visual

Grafik koneksi akan terbuka. Di sana Anda akan melihat bahwa browserleaks.com meminta data dari alamat IP eksternal (dalam contoh kita 87.192.224.71). Ini adalah alamat IP yang "dilihat" oleh situs target, yaitu IP proxy Anda.

Gbr. 9. Cuplikan layar ini menunjukkan grafik koneksi «Crawl Tree Graph», yang mendemonstrasikan secara jelas bahwa permintaan dari pemindai dikirim ke alamat IP eksternal milik server proxy.

Untuk kepastian 100%, Anda dapat membuka browserleaks.com/ip di browser biasa yang dikonfigurasi dengan proxy yang sama. Anda akan melihat informasi yang sama, yang mengonfirmasi bahwa Screaming Frog berhasil bekerja melalui server proxy yang Anda tentukan.

Gbr. 10. Cuplikan layar ini menunjukkan contoh verifikasi alamat IP eksternal 87.192.224.71 melalui layanan browserleaks.com, yang memungkinkan konfirmasi IP mana yang dilihat server akhir.

Kesimpulan

Bagus! Anda telah berhasil mengatur Screaming Frog untuk bekerja melalui proxy. Sekarang Anda dapat melakukan audit SEO yang mendalam dan tanpa hambatan pada skala apa pun, tanpa gangguan koneksi dan mendapatkan data persis seperti yang dilihat pengguna dari mana pun di dunia. Keterampilan ini adalah bagian tak terpisahkan dari gudang senjata spesialis SEO profesional modern.

👉 Mencari proxy yang andal untuk Screaming Frog? Untuk tugas pemindaian, proxy pusat data berkecepatan tinggi atau proxy residensial sangat ideal. Di katalog CyberYozh App Anda akan menemukan proxy stabil yang akan memastikan operasi "laba-laba" SEO Anda tanpa gangguan.