Mengikis web adalah teknik untuk mengambil sejumlah besar data dan menyimpannya di sistem Anda. Beberapa situs web tidak mendukung kerokan web. Website semacam itu tetap bisa di-scraping, namun dengan penuh tanggung jawab agar tidak berdampak buruk pada website yang di-scraping. Web crawler dapat mengambil data dengan cepat dan mendalam, oleh karena itu penting untuk 'menjaga' situs target.
Sebagian besar situs web mungkin tidak memiliki teknik anti gores karena itu akan menghambat pengguna biasa untuk mengakses situs web. Padahal, ada beberapa situs yang masih memblokir scraping karena tidak ingin datanya diakses secara terbuka.
Artikel ini berbicara tentang bagaimana situs web mengetahui bahwa ini adalah interaksi laba-laba dan bukan manusia di situs web dan cara untuk mengatasi hambatan tersebut.
Bagaimana situs web dapat mendeteksi pengikisan web?
Ada mekanisme yang memungkinkan situs web mendeteksi bot mesin telusur sedang beraksi. Beberapa mekanisme adalah:
- Lalu lintas yang tidak biasa atau tingkat unduhan yang tinggi dari satu klien atau Alamat IP dalam waktu yang terbatas.
- Mendeteksi tugas berulang di situs web yang tidak dilakukan oleh manusia. Seorang manusia tidak akan melakukan tugas yang sama sepanjang waktu.
- Menggunakan honeypots untuk deteksi yang biasanya tidak terlihat oleh pengguna biasa.
Daftar 9 Cara Bypass Teknik Anti Scraping yang Terbukti Di Tahun 2024
Untuk mengatasi deteksi, dan melewati teknik anti-scraping, ikuti praktik berikut:
1) Patuhi file robots.txt
Pemilik situs web memiliki hak untuk memutuskan apakah situs web mereka akan diizinkan untuk dirayapi/digores atau tidak. Beberapa situs web melarang bot untuk mengikis dan mengizinkan situs web lain untuk mengikis situs web mereka. Laba-laba web harus menempel pada file robot.txt untuk situs web saat melakukan pengikisan. File ini memiliki seperangkat aturan yang harus Anda hormati; tentang seberapa sering Anda dapat mengikis dan halaman mana yang dapat Anda gores.
File robots.txt dapat ditemukan di URL situs web.
Jika berisi garis-garis seperti yang ditunjukkan di bawah ini, itu berarti situs tersebut tidak suka dan ingin di-scraping.
User-agent: *
Melarang:/
Karena sebagian besar situs web ingin terdaftar di Google, pengikis situs web terbesar, pemilik mengizinkan perayap untuk mengakses situs web.
2) Pencoretan lambat membantu
Jika Anda menggunakan bot, mereka mengambil dan mengikis data dengan sangat cepat, secepat mengajukan permintaan dalam 30 detik; yang tidak biasa bagi manusia. Jadi mudah bagi situs web untuk mendeteksi bahwa scraper sedang bekerja. Pengikisan cepat berarti situs web menerima terlalu banyak permintaan dan membuat situs web tidak responsif.
Untuk membuat laba-laba Anda terlihat nyata, cobalah meniru perilaku manusia.
Misalnya, tambahkan beberapa panggilan tidur terprogram acak di antara permintaan atau tunda setelah merayapi sejumlah halaman tertentu. Pada dasarnya, situs web yang Anda gores harus diperlakukan dengan baik dan tidak terlalu membebaninya.
Ada mekanisme autothrottle yang dapat digunakan untuk secara otomatis mencekik kecepatan perayapan jika Anda terlalu banyak memuat situs web. Lingkungan situs web juga berubah seiring waktu. Jadi sesuaikan bot ke kecepatan perayapan yang optimal setelah beberapa lintasan berjalan.
3) Ubah pola coretan
Manusia cenderung membawa variasi dalam tugas dan tidak melakukannya secara berulang-ulang. Mereka menunjukkan tindakan acak saat mengikis. Bot, di sisi lain, memiliki pola perayapan yang sama karena mereka diprogram untuk melakukannya. Mereka tidak mengubah pola kecuali diprogram untuk melakukannya.
Situs web memiliki anti merangkak mekanisme yang dapat mendeteksi dengan mudah bahwa bot terlibat dalam pengikisan atau manusia yang melakukannya. Oleh karena itu, gabungkan beberapa klik acak dalam program atau gerakan mouse yang membuat laba-laba terlihat seperti manusia. Membuat perubahan dalam pola perayapan adalah cara yang efisien teknik anti gores.
4) Putar IP dan Proxy
Menggunakan alamat IP yang sama untuk mengirim beberapa permintaan akan blokir alamat IP Anda. Alamat IP Anda dapat dilihat saat menggores. Sebuah situs web akan dengan mudah mengetahui apa yang Anda lakukan. Untuk mencegah hal ini, gunakan beberapa alamat IP. A permintaan dari server proxy sulit untuk dideteksi. Gunakan secara acak Alamat IP untuk setiap permintaan dari kumpulan IP.
Ada banyak cara untuk mengubah IP keluar Anda. VPN, proxy bersama, atau TOR adalah cara terbaik. Juga, ada penyedia komersial yang menyediakan layanan untuk rotasi IP otomatis. Teknik ini juga mendistribusikan beban di berbagai titik keluar.
Karena ini juga merupakan teknik yang terkenal di situs web, mereka telah memblokir beberapa rentang IP yang digunakan secara besar-besaran seperti AWS.
5) Rotasi Agen Pengguna
Agen pengguna adalah alat yang memberi tahu server browser web mana yang sedang digunakan. Jika Anda belum menyiapkan agen pengguna, situs web tidak akan mengizinkan Anda melihat konten mereka. Untuk mengetahui agen pengguna Anda, Anda cukup mengetik "apa agen pengguna saya di bilah pencarian Google".
Anda juga dapat memeriksa string pengguna Anda di WhatsMyUserAgent.
Setiap permintaan yang berasal dari browser berisi header agen pengguna yang mengarah ke deteksi bot. Jadi untuk membuat agen pengguna tampak nyata dan lolos dari deteksi adalah memalsukan agen pengguna.
Untuk menipu agen pengguna:
Buat daftar agen pengguna dan untuk setiap permintaan, ambil agen pengguna acak sehingga Anda tidak diblokir. Setel agen pengguna Anda ke browser web umum alih-alih agen pengguna default.
Setel agen pengguna Anda ke browser web umum alih-alih menggunakan agen pengguna default (seperti wget/version atau urllib/version). Anda bahkan bisa berpura-pura menjadi Google Bot: Googlebot/2.1 jika Anda ingin bersenang-senang!
6) Hati-hati dengan situs web yang mengubah tata letak
Beberapa situs web memiliki tata letak dinamis dan terus mengubahnya, membuatnya rumit atau pengikis. Misalnya, 20 halaman pertama akan memiliki format tertentu dan sisanya mungkin memiliki perubahan tata letak.
Untuk mengikis data dari situs web tersebut, gunakan XPaths atau pemilih CSS untuk data mining. Jika Anda tidak menggunakan ini, periksa perbedaan tata letak dan tambahkan kondisi dalam kode Anda yang menggores halaman tersebut secara berbeda.
7) Gunakan browser tanpa kepala
Situs web menampilkan konten yang berbeda tergantung pada browser yang digunakan. Misalnya dalam hasil pencarian Google, jika browser memiliki kemampuan tingkat lanjut, mungkin menyajikan konten "kaya" yang berarti bahwa konten akan dinamis dan bergaya dan sangat bergantung pada Javascript dan CSS.
Masalah dengan ini adalah ketika melakukan apapun data mining, konten dirender oleh kode JS dan bukan respons HTML mentah yang diberikan server.
Dalam kasus seperti itu, pemblokiran dapat dicegah menggunakan browser tanpa kepala. Browser Headless berarti mereka tidak visual di desktop. Jadi tidak ada antarmuka grafis. Ini berarti tidak ada antarmuka grafis. Alih-alih berinteraksi dengan elemen, Anda dapat mengotomatiskan semuanya dengan antarmuka baris perintah. Ini dapat membantu Anda untuk tetap tidak terdeteksi saat pengikisan web.
8) Lindungi diri Anda dari perangkap honeypot
Situs web sangat berhati-hati untuk mencegah peretasan. Mereka menyiapkan honeypots untuk memancing peretasan dan mendeteksi jika ada upaya peretasan di situs web. Biasanya aplikasi yang meniru perilaku sistem nyata. Misalnya, beberapa situs web memasang tautan honeypot yang tidak terlihat oleh pengguna biasa tetapi dapat diakses oleh pengikis web saja.
Untuk menghindari jebakan ini, pastikan tautan yang Anda buka memiliki visibilitas yang tepat dan tag nofollow. Saat mengikuti tautan, selalu berhati-hatilah agar tautan memiliki visibilitas yang tepat tanpa tag nofollow. Beberapa tautan honeypot untuk mendeteksi laba-laba akan memiliki tampilan gaya CSS: tidak ada atau akan disamarkan warna untuk berbaur dengan warna latar belakang halaman.
Deteksi ini jelas tidak mudah dan membutuhkan sejumlah besar pekerjaan pemrograman untuk diselesaikan dengan benar, akibatnya, teknik ini tidak banyak digunakan di kedua sisi – sisi server atau bot atau sisi scraper.
9) Gosok di Belakang Login
Ada beberapa situs web yang tidak mengizinkan izin masuk. Misalnya Facebook dan Memang.
Halaman yang dilindungi login memerlukan beberapa informasi atau cookie lebih lanjut dengan setiap permintaan untuk mengakses halaman. Ini memberikan kesempatan ke situs web target untuk melihat permintaan yang datang dari proxy server dan karenanya memblokir akun Anda.
Oleh karena itu, disarankan untuk menghindari menggores situs web yang memiliki login karena Anda akan diblokir dengan mudah. Untuk mengikis situs web tersebut, Anda dapat meniru browser manusia saat otentikasi diperlukan sehingga Anda bisa mendapatkan data yang ditargetkan.
Bagaimana mengatasi deteksi Web Scraping?
Saat membangun laba-laba, luangkan waktu untuk menyelidiki apa anti gores mekanisme adalah pengguna situs web dan kemudian memprogram laba-laba Anda sesuai dengan itu. Ini akan menghasilkan hasil data yang lebih baik dan membangun laba-laba yang kuat dalam jangka panjang.
Bagaimana Anda mengetahui jika sebuah situs web telah memblokir Anda?
Cari alarm berikut di situs web saat merangkak. Jika Anda melihat salah satunya, itu adalah indikator bahwa Anda sedang diblokir atau diblokir.
- halaman CAPTCHA
- Keterlambatan pengiriman konten yang tidak biasa
- Respons yang sering dengan kesalahan HTTP 404, 301 atau 503
Juga, jika kode HTTP ini muncul, anggap diri Anda diblokir.
- 301 Dipindahkan Sementara
- 401 Tidak Resmi
- Forbidden 403
- 404 Tidak Ditemukan
- 408 Batas Waktu Permintaan
- 429 Terlalu Banyak Permintaan
- Layanan 503 tidak tersedia
Baca Blog Terbaik @ BAGAIMANA CARA MEMBUKA SITUS WEB YANG DIBLOKIR OLEH PROXY?
Link Cepat:
-
[Diperbarui] Daftar 11 Server Proxy Pribadi Murah Terbaik 2024 ($0.19 Masing-masing)
-
(Diperbarui) Daftar Proxy SOCKS Terbaik Mulai dari @4.99$ | Uji Coba 3 Hari 2024
-
[DIPERBARUI] Panduan Definitif Terbaik Untuk Mengatur Server Proxy Pribadi dengan Mudah 2024
-
[Terbaru] Beli Proxy Terbaik Untuk Sewa 2024: Mulai @$0.50/Bln. ( Buru-buru)
Kesimpulan: Cara Terbukti Untuk Bypass Teknik Anti-gores
Untuk bypass teknik anti-goresan, aturan dasarnya tetap konstan, yaitu bersikap baiklah terhadap situs web target dan gunakan a server proxy. Jangan membebaninya dengan permintaan yang tidak dapat ditangani oleh servernya. Bangun mekanisme/spider yang stabil dan kuat untuk merayapi dan mengumpulkan data secara efisien daripada diblokir. Poin-poin ini akan membantu Anda membangun solusi Anda sendiri menuju anti gores.
Apakah Anda seorang ilmuwan data, pemasar atau penerbit, yang menggunakan banyak teknik untuk mem-bypass situs anti-scraping untuk mendapatkan data yang relevan? Ceritakan pengalaman Anda dengan bot?
