Etika dan hukum: “white hat” parsing. Cara mengumpulkan data dari situs web tanpa melanggar hukum dan aturan (robots.txt, Terms of Service).

Roman

Nov 26, 2025

Proxy

Web scraping (parsing) telah berkembang pesat dari masa “Wild West” tahun 2000-an menjadi industri modern dengan aturan yang ketat. Saat ini, pengumpulan data merupakan fondasi bagi e-commerce, pelatihan AI, dan analitik pemasaran.

Namun, ada masalah: situs web tidak ingin memberikan datanya begitu saja. Mereka dilindungi secara hukum (Ketentuan Layanan) dan teknis (sistem Anti-Bot).

Bagaimana cara mengumpulkan informasi secara legal? Di manakah batas antara analitik dan serangan DDoS? Dan mengapa mematuhi `robots.txt` bukan hanya soal kesopanan, tetapi juga soal kelangsungan hidup bisnis Anda?

Dalam artikel ini, kita akan membahas kode etik parser “putih” dan aturan teknis yang akan melindungi Anda dari masalah hukum.

---

#### **Bagian 1. Apa itu parsing “putih”?**

Parsing “putih” adalah pengumpulan data **yang tersedia untuk umum** dengan mematuhi aturan situs donor dan undang-undang tentang data pribadi.

**Tiga pilar legalitas:**

1. **Data bersifat publik:** Anda tidak meretas akun, mencari kata sandi, atau melewati paywall. Anda mengambil apa yang dapat dilihat oleh pengunjung yang tidak terdaftar.
2. **Anda tidak merusak situs:** Skrip Anda tidak membebani server (tidak melakukan DDoS) dan tidak mengganggu pengguna yang sebenarnya.
3. **Anda tidak melanggar hak cipta:** Anda mengumpulkan data (fakta, harga), bukan konten (teks, foto) untuk dipublikasikan ulang atas nama Anda sendiri.

**Hal penting:** Pengumpulan data pribadi (nama lengkap, nomor telepon, alamat email individu) adalah hal yang sensitif. Di Uni Eropa berlaku GDPR, di Indonesia berlaku Undang-Undang Nomor 27 Tahun 2022 tentang Perlindungan Data Pribadi (UU PDP). Jika Anda mengurai basis pengguna untuk pengiriman spam — ini adalah **“penguraian hitam”**, yang secara definisi ilegal.

---

#### **Bagian 2. Etika teknis: Robots.txt dan User-Agent**

Sebelum menjalankan pengurai, Anda wajib “mengetuk pintu”.

##### **1. File `robots.txt`: Hukum atau rekomendasi?**

Ini adalah file teks di root situs mana pun (`site.com/robots.txt`). Ini adalah instruksi untuk robot.

* **Apa yang harus dicari di sana:**
  * `User-agent: *` — aturan untuk semua bot.
  * `Disallow: /admin/` — tidak boleh masuk ke sini.
  * `Crawl-delay: 10` — jeda 10 detik di antara permintaan.

**Apakah ini hukum?** Secara hukum — tidak (di sebagian besar negara). **Apakah perlu dipatuhi?** Secara teknis — **wajib**. Jika `robots.txt` melarang pemindaian, dan Anda mengabaikannya, sistem perlindungan situs akan mengklasifikasikan lalu lintas Anda sebagai berbahaya. Hasilnya — IP Anda akan langsung diblokir.

##### **2. User-Agent: Jangan berpura-pura menjadi orang lain**

Banyak parser menyamar sebagai `Chrome/120.0...`. Dalam parsing “putih”, dianggap sopan untuk menggunakan User-Agent **Anda sendiri**, yang mencantumkan kontak pemilik bot.

* *Contoh:* `MyPriceBot/1.0 (+http://mysite.com/bot-contact)` Ini menunjukkan kepada admin situs bahwa Anda bukan penyerang, dan memberinya cara untuk menghubungi Anda jika bot Anda menimbulkan beban, alih-alih langsung memblokir subnet Anda.

---

#### **Bagian 3. Perangkap hukum: Ketentuan Layanan (ToS)**

Jika `robots.txt` adalah tanda “Dilarang Masuk”, maka **Ketentuan Layanan (Perjanjian Pengguna)** adalah kontrak.

Area paling berbahaya adalah penguraian **setelah otorisasi**. Saat Anda mendaftar di situs web dan mencentang “Saya setuju dengan aturan”, Anda menandatangani perjanjian hukum. Jika aturan tersebut menyatakan “Dilarang melakukan pengumpulan data secara otomatis” (seperti yang tertulis di Facebook, LinkedIn, Instagram), maka menjalankan parser di dalam akun Anda merupakan **pelanggaran kontrak**.

**Konsekuensi:**

1. Akun diblokir tanpa hak untuk dipulihkan.
2. Dalam kasus yang jarang terjadi — tuntutan hukum atas pelanggaran ketentuan kontrak.

**Aturan parser “putih”:** Cobalah untuk mengumpulkan data **tanpa otorisasi**. Data publik (harga, katalog) tidak dilindungi oleh undang-undang hak cipta (fakta tidak dilindungi hak cipta), dan pengadilan (misalnya, kasus *HiQ Labs vs LinkedIn*) sering kali berpihak pada parser jika data tersebut tersedia untuk umum.

---

#### **Bagian 4. Cara agar situs tidak down: Rate Limiting**

Alasan paling umum untuk pemblokiran bukanlah *apa* yang Anda unduh, tetapi *seberapa* cepat Anda melakukannya.

Jika Anda mengirim 100 permintaan per detik ke toko online kecil, Anda bukanlah seorang analis, melainkan serangan DDoS.

**Aturan kesopanan:**

1. **Batasi permintaan:** Berikan jeda (sleep) di antara permintaan.
2. **Perhatikan kode respons:** Jika situs mulai memberikan `429 Too Many Requests` atau `503 Service Unavailable` — skrip Anda harus **segera berhenti** dan memperpanjang jeda. Terus-menerus mengetuk server yang “jatuh” adalah tindakan kasar secara teknis.
3. **Parsing di malam hari:** Muat situs target pada jam-jam ketika aktivitas pengguna aslinya paling rendah.

---

#### **Bagian 5. Infrastruktur: Peran proxy dalam parsing yang etis**

Bahkan jika Anda mematuhi semua aturan, pengumpulan data dalam jumlah besar dari satu alamat IP akan menimbulkan kecurigaan pada sistem perlindungan (WAF).

Untuk mendistribusikan beban dan menghindari filter otomatis, Anda perlu menggunakan **proxy berkualitas**.

**Jenis apa yang harus dipilih untuk parsing “putih”?**

1. **Proxy server (Datacenter):** Ideal untuk **pengumpulan data terbuka secara massal** (katalog, harga) dari situs web yang tidak memiliki perlindungan ketat. Proxy ini murah, cepat, dan memungkinkan Anda untuk mematuhi etika (tidak membebani jaringan pengguna rumahan).
2. **Proksi residen (Residential):** Diperlukan untuk situs web dengan batasan ketat. Proksi ini memungkinkan permintaan Anda terlihat seperti permintaan dari orang yang berbeda dari berbagai wilayah.
   * *Aspek etika:* Gunakan hanya proksi residen yang etis (Ethical Proxy Networks), di mana pengguna telah memberikan persetujuan untuk penggunaan lalu lintas mereka.

Di **CyberYozh App**, kami sangat memperhatikan kebersihan pool kami. Kami menyediakan alat untuk parsing yang etis:

* **Rotasi IP:** Agar tidak membebani satu alamat.
* **Penargetan geografis yang akurat:** Untuk mendapatkan data yang relevan tanpa permintaan yang tidak perlu.

---

### **Kesimpulan: Reputasi lebih berharga daripada data**

Parsing “putih” adalah permainan jangka panjang. Dengan melanggar aturan, mengabaikan `robots.txt`, dan melakukan DDOS terhadap situs, Anda mungkin bisa mendapatkan data lebih cepat, tetapi Anda berisiko kehilangan akses ke sumber tersebut selamanya.

Patuhi etika teknis, hormati sumber daya donor, dan gunakan infrastruktur yang tepat. Ini adalah satu-satunya cara untuk membangun bisnis data yang berkelanjutan.

👉 **Sedang membangun parser legal?** Pastikan fondasinya kuat. Pilih [**proksi server atau residen yang sesuai di katalog CyberYozh App**](https://app.cyberyozh.com/id/catalog/). Kami akan membantu Anda meningkatkan pengumpulan data sambil tetap berada di sisi terang.

Bermanfaat?

Bagikan artikelnya!

Belum dengan kami?

Daftar untuk mendapatkan akses ke semua fitur situs.

Daftar Sekarang