Skrobanie sieci to technika pobierania dużej ilości danych i przechowywania ich w systemie. Niektóre strony zniechęcają skrobanie sieci. Takie strony internetowe nadal można zeskrobać, ale odpowiedzialnie, aby nie miało to szkodliwego wpływu na zdrapywaną witrynę. Roboty indeksujące mogą szybko i dogłębnie pobierać dane, dlatego ważne jest, aby „zaopiekować się” docelową witryną.
Większość witryn może nie mieć techniki zapobiegające zadrapaniom ponieważ utrudniłoby to normalnemu użytkownikowi dostęp do witryny. Chociaż istnieją witryny, które nadal blokują scraping, ponieważ nie chcą, aby ich dane były jawnie dostępne.
W tym artykule omówiono, skąd strony internetowe wiedzą, że jest to pająk, a nie ludzka interakcja na stronach internetowych, oraz sposoby na pokonanie tych barier.
Jak strony internetowe mogą wykrywać skrobanie stron internetowych?
Istnieją mechanizmy, które umożliwiają stronom internetowym wykrywanie robotów wyszukiwarek w działaniu. Niektóre mechanizmy to:
- Nietypowy ruch lub wysoka szybkość pobierania z jednego klienta lub adres IP w ograniczonym czasie.
- Wykrywanie powtarzalnych zadań na stronie internetowej, których nie wykonuje człowiek. Człowiek nie będzie wykonywał przez cały czas tych samych zadań.
- Używanie honeypotów do wykrywania, które są zwykle niewidoczne dla zwykłego użytkownika.
Lista 9 sprawdzonych sposobów na ominięcie technik zapobiegających drapaniu w 2024 r.
Aby przezwyciężyć wykrywanie i ominąć techniki zapobiegające skrobaniu, postępuj zgodnie z następującymi praktykami:
1) Przestrzegaj plików robots.txt
Właściciele witryny mają prawo decydować, czy ich witryna będzie mogła zostać zindeksowana/zdrapana, czy nie. Niektóre witryny nie pozwalają botom na skrobanie, a innym witrynom na skrobanie ich witryn. Pająki internetowe powinny trzymać się pliku robot.txt na stronie internetowej podczas scrapingu. Ten plik zawiera zestaw zasad, których należy przestrzegać; jak często możesz zeskrobać i które strony możesz zeskrobać.
Plik robots.txt można znaleźć pod adresem URL witryny.
Jeśli zawiera wiersze, takie jak te pokazane poniżej, oznacza to, że witryna nie lubi i chce zostać zeskrobana.
User-agent: *
Uniemożliwić:/
Ponieważ większość stron internetowych chce znajdować się w Google, największym wyszukiwarce stron internetowych, właściciele zezwalają robotom indeksującym na dostęp do stron internetowych.
2) Powolne bazgranie pomaga
Jeśli używasz botów, pobierają one i pobierają dane bardzo szybko, tak szybko, jak wysyłanie żądań w ciągu 30 sekund; co jest niezwykłe dla człowieka. Dzięki temu strona internetowa może łatwo wykryć, że działa skrobak. Szybki scraping oznacza, że strona internetowa otrzymuje zbyt wiele żądań i sprawia, że strona przestaje odpowiadać.
Aby twój pająk wyglądał realistycznie, spróbuj naśladować ludzkie zachowanie.
Na przykład, dodaj losowe programowe wywołania uśpienia między żądaniami lub umieść pewne opóźnienia po zindeksowaniu określonej liczby stron. Zasadniczo strona, którą skrobasz, powinna być traktowana ładnie i nie obciążać jej zbytnio.
Istnieją mechanizmy autothrottle, których można użyć do automatycznego ograniczenia prędkości indeksowania, jeśli zbyt dużo ładujesz witrynę. Z biegiem czasu zmienia się również otoczenie serwisu. Dostosuj więc bota do optymalnej prędkości raczkowania po kilku biegach.
3) Zmień wzór bazgroły
Ludzie mają tendencję do wprowadzania zmian w zadaniu i nie robią tego powtarzalnie. Pokazują losowe akcje podczas skrobania. Z drugiej strony boty mają ten sam wzorzec indeksowania, ponieważ są do tego zaprogramowane. Nie zmieniają wzoru, chyba że są do tego zaprogramowane.
Strony internetowe mają anty indeksowania mechanizmy, które mogą łatwo wykryć, że bot jest zaangażowany w skrobanie lub robi to człowiek. Dlatego włącz kilka losowych kliknięć w program lub ruchy myszy, które sprawią, że pająk będzie wyglądał jak człowiek. Wprowadzanie zmian we wzorcu indeksowania jest skutecznym technika zapobiegająca zadrapaniom.
4) Rotacja adresów IP i serwerów proxy
Używanie tego samego adresu IP do wysyłania wielu żądań spowoduje zablokuj swój adres IP. Twój adres IP można zobaczyć podczas skrobania. Strona internetowa z łatwością dowie się, co robisz. Aby temu zapobiec, używaj wielu adresów IP. A żądanie z serwera proxy jest trudny do wykrycia. Użyj losowo Adresy IP dla każdego żądania z puli adresów IP.
Istnieje wiele sposobów na zmianę wychodzącego adresu IP. VPN, współdzielone proxy lub TOR to najlepsze możliwe sposoby. Istnieją również dostawcy komercyjni świadczący usługi automatycznej rotacji adresów IP. Ta technika również rozkłada obciążenie na różne punkty wyjścia.
Ponieważ jest to również dobrze znana technika na stronach internetowych, zablokowały one niektóre masowo używane zakresy adresów IP, takie jak AWS.
5) Rotacja agentów użytkownika
Agent użytkownika to narzędzie, które informuje serwer, która przeglądarka internetowa jest używana. Jeśli nie skonfigurowałeś agenta użytkownika, strony internetowe nie pozwolą Ci przeglądać ich zawartości. Aby poznać swojego agenta użytkownika, możesz po prostu wpisać „jaki jest mój agent użytkownika w pasku wyszukiwania Google”.
Możesz również sprawdzić swój ciąg użytkownika na WhatsMyUserAgent.
Każde żądanie pochodzące z przeglądarki zawiera nagłówek klienta użytkownika, który prowadzi do wykrycia bota. Tak więc, aby agent użytkownika wyglądał jak prawdziwy i uniknął wykrycia, należy sfałszować agenta użytkownika.
Aby sfałszować klienta użytkownika:
Utwórz listę agentów użytkownika i dla każdego żądania wybierz losowego klienta użytkownika, aby nie zostać zablokowanym. Ustaw agenta użytkownika na zwykłą przeglądarkę internetową zamiast domyślnego agenta użytkownika.
Ustaw swojego klienta użytkownika na zwykłą przeglądarkę internetową zamiast używać domyślnego klienta użytkownika (takiego jak wget/wersja lub urllib/wersja). Możesz nawet udawaj bota Google: Googlebot/2.1 jeśli chcesz się zabawić!
6) Uważaj na strony zmieniające układy
Niektóre strony internetowe mają dynamiczny układ i ciągle go zmieniają, co utrudnia lub utrudnia pracę. Na przykład pierwsze 20 stron będzie miało określony format, a pozostałe mogą mieć zmieniony układ.
Aby pobrać dane z takich witryn, użyj selektorów XPaths lub CSS for data mining. Jeśli ich nie używasz, sprawdź różnicę w układzie i dodaj warunek w swoim kodzie, który inaczej zdrapuje te strony.
7) Użyj przeglądarki bezgłowej
Strony internetowe wyświetlają różne treści w zależności od używanej przeglądarki. Na przykład w wynikach wyszukiwania Google, jeśli przeglądarka ma zaawansowane możliwości, może prezentować „bogatą” treść, co oznacza, że treść będzie dynamiczna i stylizowana oraz będzie mocno opierać się na Javascript i CSS.
Problem z tym polega na tym, że podczas robienia wszelkiego rodzaju data mining, treść jest renderowana za pomocą kodu JS, a nie nieprzetworzonej odpowiedzi HTML dostarczanej przez serwer.
W takim przypadku blokowaniu można zapobiec za pomocą przeglądarki bezgłowej. Przeglądarka Headless oznacza, że nie są one widoczne na pulpicie. Nie ma więc interfejsu graficznego. Oznacza to brak interfejsu graficznego. Zamiast wchodzić w interakcje z elementem, możesz zautomatyzować wszystko za pomocą interfejsu wiersza poleceń. Pomoże Ci to pozostać niewykrytym podczas skrobanie sieci.
8) Chroń się przed pułapkami typu honeypot
Strony internetowe dokładają wszelkich starań, aby zapobiec włamaniom. Konfigurują honeypoty, aby zwabić hacki i wykryć, czy na stronie są jakieś próby włamania. Zwykle jest to aplikacja imitująca zachowanie rzeczywistego systemu. Na przykład, niektóre strony instalują linki typu honeypot, które są niewidoczne dla zwykłych użytkowników, ale można do nich uzyskać dostęp: skrobaki do sieci tylko.
Aby uniknąć wpadnięcia w tę pułapkę, upewnij się, że otwierany link ma odpowiednią widoczność i tag nofollow. Podczas podążania za linkami zawsze uważaj, aby link był odpowiednio widoczny bez tagu nofollow. Niektóre linki typu honeypot do wykrywania pająków będą miały wyświetlanie stylu CSS:brak lub będą miały kolor zamaskowany, aby zmieszać się z kolorem tła strony.
To wykrywanie oczywiście nie jest łatwe i wymaga znacznej ilości pracy programistycznej, aby wykonać ją poprawnie, w rezultacie ta technika nie jest powszechnie stosowana po żadnej stronie – po stronie serwera, po stronie bota lub skrobaka.
9) Zadrapanie za logowaniem
Istnieje kilka stron internetowych, które nie pozwalają na logowanie. Na przykład Facebook i Indeed.
Strony chronione logowaniem wymagają dodatkowych informacji lub plików cookie przy każdym żądaniu dostępu do strony. Daje to szansę witrynie docelowej na zobaczenie żądań pochodzących z serwery proxy i tym samym zablokować swoje konto.
Dlatego zaleca się unikanie skrobania stron internetowych, które mają login, ponieważ zostaniesz łatwo zablokowany. Aby zeskrobać takie witryny, możesz imitować ludzkie przeglądarki, gdy wymagane jest uwierzytelnienie, aby uzyskać docelowe dane.
Jak rozwiązać problem wykrywania drapania w sieci?
Budując pająka, poświęć trochę czasu na zbadanie, co antyskrobanie mechanizmem jest użytkownik strony internetowej, a następnie odpowiednio zaprogramuj swojego pająka. Doprowadzi to do lepszych wyników danych i zbuduje solidnego pająka na dłuższą metę.
Jak dowiesz się, czy witryna Cię zablokowała?
Poszukaj następujących alarmów na stronie internetowej podczas indeksowania. Jeśli zobaczysz którykolwiek z nich, oznacza to, że zostałeś zbanowany lub zablokowany.
- Strony CAPTCHA
- Nietypowe opóźnienia w dostarczaniu treści
- Częsta odpowiedź z błędami HTTP 404, 301 lub 503
Ponadto, jeśli pojawią się te kody HTTP, uważaj się za zablokowanego.
- 301 przeniesiony tymczasowo
- 401 Nieautoryzowane
- Zakazane 403
- 404 Not Found
- 408 Limit czasu żądania
- 429 Zbyt wiele wniosków
- 503 Usługa niedostępna
Czytaj Najlepsze blogi @ JAK OTWIERAĆ ZABLOKOWANE STRONY INTERNETOWE PRZEZ PROXY?
Szybkie linki:
-
[Aktualizacja] Lista 11 najlepszych tanich prywatnych serwerów proxy 2024 (0.19 USD każdy)
-
(Zaktualizowany) Lista najlepszych serwerów proxy SOCKS zaczyna się od @4.99 $ | 3-dniowy okres próbny 2024 r
-
[AKTUALIZACJA] Najlepszy definitywny przewodnik po łatwej konfiguracji prywatnego serwera proxy 2024
-
[Najnowsze] Kup najlepsze proxy do wynajęcia 2024: zaczyna się od 0.50 USD/mies. ( Spieszyć się)
Wniosek: sprawdzone sposoby na Bypass Techniki zapobiegające zadrapaniom
Do obejść techniki zapobiegające zadrapaniom, podstawowa zasada pozostaje niezmienna, czyli bądź miły dla strony docelowej i używaj a serwer proxy. Nie przeciążaj go żądaniami, których jego serwer nie może obsłużyć. Zbuduj stabilny i solidny mechanizm/pająk do efektywnego indeksowania i zbierania danych, zamiast blokowania się. Te punkty pomogą Ci zbudować własne rozwiązanie w kierunku zapobiega zadrapaniom.
Czy jesteś analitykiem danych, marketerem lub wydawcą, który wykorzystuje wiele technik, aby ominąć witryny zapobiegające zbieraniu danych w celu uzyskania odpowiednich danych? Opowiedz nam o swoich doświadczeniach z botami?
