Уеб изстъргване е техника за извличане на голямо количество данни и съхраняване във вашата система. Някои уебсайтове обезкуражават изстъргване в мрежата. Такива уебсайтове все още могат да бъдат изстъргвани, но отговорно, така че да няма пагубен ефект върху изстъргвания уебсайт. Уеб роботите могат да извличат данни бързо и в дълбочина, затова е важно да се „погрижите“ за целевия уебсайт.

 Повечето уебсайтове може да нямат техники против остъргване защото това би попречило на нормален потребител да получи достъп до уебсайта. Въпреки това, има някои сайтове, които все още блокират изстъргването, защото не искат данните им да бъдат достъпни открито.

Тази статия говори за това как уебсайтовете знаят, че това е паяк, а не човешко взаимодействие на уебсайтове и начини за преодоляване на тези бариери.

Как уебсайтовете могат да открият изстъргване в мрежата?

Има механизми, които позволяват на уебсайтовете да откриват ботове на търсачките в действие. Някои механизми са:

1.       Необичаен трафик или висока скорост на изтегляне от един клиент или IP адрес в ограничено време.
2.       Откриване на повтарящи се задачи на уебсайт, които не са извършени от човек. Човек няма да изпълнява едни и същи задачи през цялото време.
3.       Използване на honeypots за откриване, които обикновено са невидими за обикновен потребител.

Списък с 9 доказани начина за заобикаляне на техниките против остъргване през 2024 г

За да преодолеете откриването и да заобиколите техниките против остъргване, следвайте тези практики:

1) Придържайте се към файловете robots.txt

Собствениците на уебсайт имат право да решат дали уебсайтът им ще бъде разрешен за обхождане/изтриване или не. Някои уебсайтове забраняват на ботове да изстъргват и позволяват на други уебсайтове да изстъргват техните уебсайтове. Уеб паяците трябва да се придържат към файла robot.txt за уебсайт, докато изстъргват. Този файл има набор от правила, които трябва да спазвате; относно това колко често можете да изстъргвате и кои страници можете да изстъргвате. 

Файлът Robots.txt може да бъде намерен на URL адреса на уебсайта.

Ако съдържа редове като показаните по-долу, това означава, че сайтът не харесва и иска да бъде изстъргван.

Потребителят-агент: *

Забрани:/ 

Тъй като повечето уебсайтове искат да бъдат изброени в Google, най-големият скрепер на уебсайтове, собствениците позволяват на роботите да имат достъп до уебсайтовете. 

2) Бавното драскане помага

Ако използвате ботове, те извличат и изстъргват данни много бързо, толкова бързо, колкото изпращат заявки в рамките на 30 секунди; което е необичайно за човека. Така че е лесно за уебсайт да открие, че скреперът работи. Бързото изстъргване означава уебсайт, който получава твърде много заявки и прави уебсайта неотговарящ.

За да направите паяка си истински, опитайте се да имитирате човешкото поведение. 

Например, добавете някои произволни програмни повиквания за заспиване между заявките или поставете някои забавяния след обхождане на определен брой страници. По принцип уебсайтът, който изстъргвате, трябва да се третира добре и да не се натоварва много.

Има механизми за автоматично дроселиране, които могат да се използват за автоматично намаляване на скоростта на обхождане, ако зареждате уебсайта твърде много. Средата на уебсайта също се променя с времето. Така че настройте бота на оптимална скорост на пълзене след няколко бягания.

3) Променете модела на драскане

Хората са склонни да внасят вариация в задачата и да не я правят многократно. Те показват произволни действия по време на остъргване. Ботовете, от друга страна, имат същия модел на обхождане, защото са програмирани да го правят. Те не променят модела, освен ако не са програмирани за това.

Уебсайтовете имат анти пълзене механизми, които могат лесно да открият, че бот участва в остъргването или човек го прави. Ето защо, включете някои произволни щраквания в програмата или движения на мишката, които правят паяка да изглежда като човек. Правенето на промени в модела на обхождане е ефективно техника против остъргване. 

4) Завъртане на IP адреси и прокси сървъри

Използването на един и същ IP адрес за изпращане на множество заявки ще блокира вашия IP адрес. Вашият IP адрес може да се види по време на остъргване. Един уебсайт лесно ще разбере какво правите. За да предотвратите това, използвайте няколко IP адреса. А заявка от прокси сървър е трудно да се открие. Използвайте произволно IP адреси за всяка заявка от група от IP адреси.

Има много начини да промените изходящия си IP адрес. VPN мрежи, споделени прокси сървъри или TOR са най-добрите възможни начини. Също така има търговски доставчици, предоставящи услуги за автоматична IP ротация. Тази техника също разпределя натоварването между различни изходни точки.

Тъй като това е добре позната техника и на уебсайтовете, те са блокирали някои масово използвани IP диапазони като AWS.

• [Последно] Най-добрите жилищни IP прокси сървъри за Craigslist Scraping 2024 @ $0.05

5) Ротация на потребителския агент

Потребителският агент е инструмент, който казва на сървъра кой уеб браузър се използва. Ако не сте настроили потребителски агент, уебсайтовете няма да ви позволят да преглеждате съдържанието им. За да разберете вашия потребителски агент, можете просто да въведете „какво е моят потребителски агент в лентата за търсене на Google“.

Можете също да проверите своя потребителски низ на WhatsMyUserAgent.

Всяка заявка, която идва от браузър, съдържа заглавка на потребителския агент, която води до откриване на бот. Така че, за да направите потребителския агент да изглежда реален и да избегнете откриването, е да фалшифицирате потребителския агент.

За да измамите потребителски агент:

Създайте списък с потребителски агенти и за всяка заявка изберете произволен потребителски агент, за да не бъдете блокирани. Задайте потребителския си агент на общ уеб браузър вместо потребителски агент по подразбиране.

Настройте потребителския си агент на общ уеб браузър, вместо да използвате потребителския агент по подразбиране (като wget/версия или urllib/версия). Бихте могли дори преструвайте се на Google Bot: Googlebot/2.1, ако искате да се забавлявате!

6) Внимавайте за уебсайтове, които променят оформлението си

Някои уебсайтове имат динамично оформление и продължават да го променят, което го прави трудно или стъргащо. Например, първите 20 страници ще имат определен формат, а останалите може да имат промяна в оформлението.

За да изстържете данни от такива уебсайтове, използвайте XPaths или CSS селектори за извличане на данни. Ако не ги използвате, проверете разликата в оформлението и добавете условие в кода си, което изстъргва тези страници по различен начин.

7) Използвайте браузър без глава

Уебсайтовете показват различно съдържание в зависимост от използвания браузър. Например в резултатите от търсенето с Google, ако браузърът има разширени възможности, той може да представи „богато“ съдържание, което означава, че съдържанието ще бъде динамично и стилизирано и силно разчита на Javascript и CSS.

Проблемът с това е, че когато правите какъвто и да е вид извличане на данни, съдържанието се изобразява от JS кода, а не от суровия HTML отговор, който сървърът доставя.

В такъв случай блокирането може да бъде предотвратено с помощта на браузър без глава. Безглавият браузър означава, че те не са визуални на работния плот. Така че няма графичен интерфейс. Това означава, че няма графичен интерфейс. Вместо да взаимодействате с елемент, можете да автоматизирате всичко с интерфейс на командния ред. Това може да ви помогне да останете незабелязани докато уеб изстъргване.

8) Пазете се от капани с меден съд

Уебсайтовете полагат най-голямо внимание, за да предотвратят хакване. Те създават honeypots, за да примамват хакове и да открият дали има опити за хакване на уебсайта. Обикновено това е приложение, което имитира поведението на реална система. Например, някои уебсайтове инсталират връзки към honeypot, които са невидими за нормалните потребители, но могат да бъдат достъпни от уеб скрепери само

За да избегнете попадането в този капан, уверете се, че връзката, която отваряте, има правилна видимост и маркер nofollow. Когато следвате връзките, винаги внимавайте връзката да има правилна видимост без маркер nofollow. Някои линкове honeypot за откриване на паяци ще имат дисплей в стил CSS: няма или ще бъдат прикрити с цвят, за да се слеят с цвета на фона на страницата.

Това откриване очевидно не е лесно и изисква значително количество работа по програмиране, за да се изпълни правилно, в резултат на това тази техника не се използва широко от нито една страна - от страна на сървъра или от страна на бот или скрепер.

9) Изстъргване зад влизане

Има няколко уебсайта, които не позволяват разрешение за влизане. Например Facebook и Indeed.

Страниците, защитени от влизане, изискват малко повече информация или бисквитки с всяка заявка за достъп до страницата. Това дава възможност на целевия уебсайт да види заявките, идващи от прокси сървъри и по този начин блокирайте акаунта си.

Ето защо се препоръчва да избягвате да изстъргвате уебсайтове, които имат вход, тъй като лесно ще бъдете блокирани. За да изстържете такива уебсайтове, можете да имитирате човешки браузъри, когато се изисква удостоверяване, за да можете да получите целевите данни.

Как да се справим с откриването на Web Scraping?

Когато създавате паяк, отделете известно време, за да проучите какво анти-остъргване механизъм е потребителят на уебсайта и след това програмирайте съответно своя паяк. Това ще доведе до по-добър резултат от данните и ще създаде стабилен паяк в дългосрочен план. 

Как да разберете дали даден уебсайт ви е блокирал?

Потърсете следните аларми на уебсайт, докато обхождате. Ако видите някой от тях, те са индикатори, че сте забранени или блокирани.

-          CAPTCHA страници

-          Необичайни забавяния на доставката на съдържание

-          Чест отговор с HTTP 404, 301 или 503 грешки

Освен това, ако се появят тези HTTP кодове, смятайте, че сте блокирани.

-          301 Временно преместен

-          401 Неразрешено

-          Forbidden 403

-          404 не е намерена

-          408 Заявка за изчакване

-          429 Твърде много искания  

-          503 Service Unavailable

Прочетете най-добрите блогове @ КАК ДА ОТВОРИМ БЛОКИРАНИ УЕБСАЙТОВЕ ПРЕЗ ПЪЛНОМОЖИТЕЛНО?

Бързи връзки:

• [Актуализиран] Списък с 11 най-добри евтини частни прокси сървъри 2024 ($0.19 всеки)

• (Актуализиран) Списъкът с най-добрите SOCKS прокси сървъри започва от @4.99 $ | 3-дневен пробен период 2024 г

• [АКТУАЛИЗИРАНО] Най-доброто окончателно ръководство за лесно настройване на частен прокси сървър 2024

• [Последно] Купете най-доброто прокси за наем 2024 г.: От $0.50/месец. (побързай)

Заключение: доказани начини за Bypass Техники против остъргване

Да се заобикаляйте техниките против остъргване, основното правило остава постоянно, т.е. бъдете любезни към целевия уебсайт и използвайте a прокси сървър. Не го претоварвайте със заявки, които сървърът му не може да обработи. Създайте стабилен и здрав механизъм/паяк, който да обхожда и събира данни ефективно, вместо да бъде блокиран. Тези точки ще ви помогнат да изградите свое собствено решение анти-остъргване.

Вие сте специалист по данни, търговец или издател, който използва много техники за заобикаляне на сайтове против изстъргване, за да получи съответните данни? Разкажете ни за вашия опит с ботовете?