Răzuire web este o tehnică de a prelua o cantitate mare de date și de a le stoca în sistemul dumneavoastră. Unele site-uri web descurajează razuire web. Astfel de site-uri web pot fi în continuare răzuite, dar în mod responsabil, astfel încât să nu aibă un efect dăunător asupra site-ului web care este răzuit. Crawlerele web pot prelua date rapid și în profunzime, de aceea este important să „ai grijă” de site-ul țintă.

 Este posibil ca majoritatea site-urilor web să nu aibă tehnici anti-răzuire deoarece asta ar împiedica un utilizator normal să acceseze site-ul web. Cu toate acestea, există unele site-uri care încă blochează scraping deoarece nu doresc ca datele lor să fie accesate în mod deschis.

Acest articol vorbește despre modul în care site-urile web știu că este un păianjen și nu o interacțiune umană pe site-uri web și despre modalitățile de a depăși aceste bariere.

Cum pot site-urile web să detecteze web scraping?

Există mecanisme care permit site-urilor web să detecteze roboții motoarelor de căutare în acțiune. Unele mecanisme sunt:

1.       Trafic neobișnuit sau o rată mare de descărcare de la un singur client sau Adresa IP într-un timp limitat.
2.       Detectarea sarcinilor repetitive pe un site web nerealizate de un om. Un om nu va îndeplini aceleași sarcini tot timpul.
3.       Utilizarea honeypots pentru detectarea, care sunt de obicei invizibile pentru un utilizator normal.

Lista cu 9 moduri dovedite de a evita tehnicile anti-răzuire în 2024

Pentru a depăși detectarea și a ocoli tehnicile anti-răzuire, urmați aceste practici:

1) Respectați fișierele robots.txt

Proprietarii unui site web au dreptul de a decide dacă site-ul lor va putea fi accesat cu crawlere/răzuit sau nu. Unele site-uri web nu permit roboților să răzuiască și permit altor site-uri web să-și zgârie site-urile. Păianjenii web ar trebui să se lipească de fișierul robot.txt pentru un site web în timp ce răzuiesc. Acest fișier are un set de reguli pe care ar trebui să le respectați; cât de des poți să răzuiești și ce pagini poți să răzuiești. 

Fișierul Robots.txt poate fi găsit pe adresa URL a site-ului web.

Dacă conține linii precum cele prezentate mai jos, înseamnă că site-ul nu-i place și vrea să fie răzuit.

User-agent: *

Nu permite:/ 

Deoarece majoritatea site-urilor web doresc să fie listate pe Google, cel mai mare grup de site-uri web, proprietarii permit crawlerilor să acceseze site-urile web. 

2) Mâzgălirea lentă ajută

Dacă utilizați roboți, aceștia preiau și răzuiesc datele foarte rapid, la fel de rapid ca plasarea solicitărilor în 30 de secunde; ceea ce este neobișnuit pentru un om. Prin urmare, este ușor pentru un site web să detecteze că un răzuitor este la lucru. Scraping rapid înseamnă că un site web primește prea multe solicitări și face ca site-ul să nu răspundă.

Pentru ca păianjenul tău să pară real, încearcă să imite comportamentul uman. 

De exemplu, adăugați câteva apeluri programate aleatorii între solicitări sau puneți unele întârzieri după accesarea cu crawlere a unui anumit număr de pagini. Practic, site-ul web pe care îl răzuiești ar trebui să fie tratat frumos și să nu pună prea multă sarcină pe el.

Există mecanisme de accelerare automată care pot fi folosite pentru a accelera automat viteza de crawling dacă încărcați prea mult site-ul. Mediul site-ului se schimbă și el în timp. Deci, ajustați botul la o viteză optimă de crawling după câteva trasee.

3) Schimbați modelul de mâzgălare

Oamenii tind să aducă o variație în sarcină și să nu o facă în mod repetitiv. Ele arată acțiuni aleatorii în timpul răzuirii. Boții, pe de altă parte, au același model de crawling, deoarece sunt programați să facă acest lucru. Ele nu schimbă modelul decât dacă sunt programate în acest sens.

Site-urile au anti târât mecanisme care pot detecta cu ușurință că un bot este implicat în răzuire sau un om face acest lucru. Prin urmare, includeți câteva clicuri aleatorii în program sau mișcări ale mouse-ului care fac păianjenul să arate ca un om. Efectuarea de modificări în modelul de crawling este eficientă tehnica anti-răzuire. 

4) Rotiți IP-urile și proxy-urile

Utilizarea aceleiași adrese IP pentru a trimite mai multe solicitări va fi blocați-vă adresa IP. Adresa dvs. IP poate fi văzută în timpul scrapingului. Un site web va ști cu ușurință ce faci. Pentru a preveni acest lucru, utilizați mai multe adrese IP. A cerere de la un server proxy este greu de detectat. Utilizați aleatoriu Adresele IP pentru fiecare cerere de la un grup de IP-uri.

Există o mulțime de moduri de a vă schimba IP-ul de ieșire. VPN-urile, proxy-urile partajate sau TOR sunt cele mai bune modalități posibile. De asemenea, există furnizori comerciali care oferă servicii de rotație automată a IP. Această tehnică distribuie, de asemenea, sarcina în diferite puncte de ieșire.

Deoarece aceasta este o tehnică bine-cunoscută și site-urilor web, acestea au blocat unele intervale de IP utilizate masiv, cum ar fi AWS.

• [Ultimele] Cele mai bune IP-uri proxy rezidențiale pentru Craigslist Scraping 2024 @ 0.05 USD

5) Rotația agentului utilizator

Un agent de utilizator este un instrument care spune unui server ce browser web este utilizat. Dacă nu ați configurat un agent de utilizator, site-urile web nu vă vor permite să le vizualizați conținutul. Pentru a vă cunoaște agentul de utilizator, puteți pur și simplu să tastați „care este agentul meu de utilizator în bara de căutare Google”.

De asemenea, puteți verifica șirul dvs. de utilizator la WhatsMyUserAgent.

Fiecare cerere care vine de la un browser conține un antet de agent de utilizator care duce la detectarea unui bot. Deci, pentru a face agentul utilizator să pară real și a scăpa de detecție înseamnă a falsifica agentul utilizator.

Pentru a falsifica un agent utilizator:

Creați o listă de agenți de utilizator și pentru fiecare solicitare, alegeți un user-agent aleatoriu, astfel încât să nu fiți blocat. Setați agentul de utilizator la un browser web obișnuit în loc de agentul de utilizator implicit.

Setați-vă user-agent la un browser web comun în loc să utilizați user-agent implicit (cum ar fi wget/version sau urllib/version). Ai putea chiar pretinde a fi Google Bot: Googlebot/2.1 dacă vrei să te distrezi!

6) Atenție la modificarea aspectului site-urilor web

Unele site-uri web au un aspect dinamic și îl schimbă în continuare, făcându-l dificil sau răzuitor. De exemplu, primele 20 de pagini vor avea un anumit format, iar restul ar putea avea o modificare a aspectului.

Pentru a răzui date de pe astfel de site-uri web, utilizați XPaths sau selectoare CSS pentru data mining. Dacă nu le utilizați, verificați diferența de aspect și adăugați o condiție în codul dvs. care răzuiește acele pagini în mod diferit.

7) Utilizați un browser fără cap

Site-urile web afișează conținut diferit în funcție de browserul utilizat. De exemplu, în rezultatele căutării Google, dacă browserul are capabilități avansate, acesta poate prezenta conținut „bogat”, ceea ce înseamnă că conținutul va fi dinamic și stilat și o dependență mare de Javascript și CSS.

Problema cu asta este că atunci când faci orice fel de data mining, conținutul este redat de codul JS și nu de răspunsul HTML brut pe care îl oferă serverul.

Într-un astfel de caz, blocarea poate fi prevenită folosind un browser fără cap. Browserul Headless înseamnă că nu sunt vizuale pe un desktop. Deci nu există interfață grafică. Aceasta înseamnă că nu există o interfață grafică. În loc să interacționați cu un element, puteți automatiza totul cu o interfață de linie de comandă. Acest lucru vă poate ajuta să rămâneți nedetectat cât timp răzuire web.

8) Protejați-vă de capcanele cu miere

Site-urile web au cea mai mare grijă pentru a preveni hacking-ul. Ei au creat honeypots pentru a atrage hack-urile și pentru a detecta dacă există tentative de hacking pe site. Este de obicei o aplicație care imită comportamentul unui sistem real. De exemplu, unele site-uri web instalează linkuri honeypot care sunt invizibile pentru utilizatorii normali, dar care pot fi accesate de raclete web numai.

Pentru a evita intrarea în această capcană, asigurați-vă că linkul pe care îl deschideți are o vizibilitate adecvată și o etichetă nofollow. Când urmăriți linkuri, aveți grijă întotdeauna ca linkul să aibă o vizibilitate adecvată, fără etichetă nofollow. Unele link-uri honeypot pentru a detecta păianjeni vor avea afișarea în stil CSS: niciunul sau vor fi deghizate în culori pentru a se integra cu culoarea de fundal a paginii.

În mod evident, această detectare nu este ușoară și necesită o cantitate semnificativă de muncă de programare pentru a fi realizată în mod corespunzător, ca urmare, această tehnică nu este utilizată pe scară largă pe nicio parte – partea serverului sau partea bot sau scraper.

9) Răzuiți în spatele autentificării

Există câteva site-uri web care nu permit permisiunea de conectare. De exemplu Facebook și Indeed.

Paginile protejate de autentificare necesită mai multe informații sau cookie-uri cu fiecare solicitare de accesare a paginii. Acest lucru oferă șansa unui site web țintă să vadă solicitările venite de la proxy servere și, prin urmare, blocați-vă contul.

Prin urmare, se recomandă să evitați răzuirea site-urilor web care au o autentificare, deoarece veți fi blocat cu ușurință. Pentru a răzui astfel de site-uri web, puteți imita browserele umane atunci când este necesară autentificarea, astfel încât să puteți obține datele vizate.

Cum se adresează detectării Web Scraping?

Când construiți un păianjen, petreceți ceva timp pentru a investiga ce anti-răzuire mecanismul este utilizatorul site-ului web și apoi programează-ți păianjenul în consecință. Acest lucru va duce la un rezultat mai bun al datelor și va construi un păianjen robust pe termen lung. 

Cum afli dacă un site te-a blocat?

Căutați următoarele alarme pe un site web în timpul accesării cu crawlere. Dacă vezi vreuna dintre ele, acestea sunt indicii că ai fost interzis sau blocat.

-          Pagini CAPTCHA

-          Întârzieri neobișnuite de livrare a conținutului

-          Răspuns frecvent cu erori HTTP 404, 301 sau 503

De asemenea, dacă apar aceste coduri HTTP, considerați-vă blocat.

-          301 mutat temporar

-          401 neautorizat

-          Interzis 403

-          404 Nu a fost găsit

-          408 Termen de întrerupere al solicitării

-          429 Prea multe cereri  

-          503 Serviciul este indisponibil

Citiți cele mai bune bloguri @ CUM SE DESCHIDE SITE-URI WEB BLOCATE PRIN PROXY?

Link-uri rapide:

• [Actualizată] Lista celor mai bune 11 servere proxy private ieftine din 2024 (0.19 USD fiecare)

• (Actualizată) Lista celor mai bune proxy SOCKS începe de la @4.99$ | Probă de 3 zile 2024

• [ACTUALIZAT] Cel mai bun ghid definitiv pentru a configura cu ușurință serverul proxy privat 2024

• [Cel mai recent] Cumpărați cel mai bun proxy pentru închiriere 2024: începe la @0.50 USD/lună. (Grăbește-te)

Concluzie: modalități dovedite de a Bypass Tehnici anti-răzuire

La ocolirea tehnicilor anti-răzuire, regula de bază rămâne constantă, adică fiți amabil cu site-ul țintă și utilizați a server proxy. Nu-l supraîncărcați cu solicitări pe care serverul său nu le poate gestiona. Construiți un mecanism/păianjen stabil și robust pentru a accesa cu crawlere și a colecta date eficient, în loc să vă blocați. Aceste puncte vă vor ajuta să vă construiți propria soluție anti-răzuire.

Sunteți un om de știință de date, un marketer sau un editor, care utilizează o mulțime de tehnici pentru a ocoli site-urile anti-scraping pentru a obține date relevante? Povestește-ne despre experiența ta cu roboții?