Webcrawlers, de weinig bekende hulpjes van zoekmachines die toegang bieden tot gemakkelijk toegankelijke informatie, zijn essentieel voor het verzamelen van internetinhoud. Ze zijn ook cruciaal voor uw plan voor zoekmachineoptimalisatie (SEO).
Het ding om hier op te merken is dat Zoekmachines weten niet op magische wijze welke websites er op internet bestaan. Om een bepaalde website op de zoekmachines te laten bestaan, moet deze worden geïndexeerd, en dit is waar "webcrawlers" een rol gaan spelen.
Voordat de juiste pagina's worden geleverd voor trefwoorden en woordgroepen, of de termen die gebruikers gebruiken om een nuttige pagina te vinden, moeten deze algoritmen deze crawlen en indexeren.
Met andere woorden, zoekmachines zoeken op internet naar pagina's met behulp van webcrawlerprogramma's en slaan vervolgens de informatie over die pagina's op voor gebruik in toekomstige zoekopdrachten.
Wat is webcrawlen?
Webcrawlen is het proces waarbij software of geautomatiseerd script wordt gebruikt om index gegevens op webpagina's. Deze geautomatiseerde scripts of programma's worden soms webcrawlers, spiders, spiderbots of gewoon crawlers genoemd.
Wat is een webcrawler?
Een softwarerobot die bekend staat als een webcrawler, doorzoekt het internet en downloadt de informatie die hij ontdekt.
Zoekmachines zoals Google, Bing, Baidu en DuckDuckGo voeren de meeste sitecrawlers uit.
Zoekmachines bouwen hun zoekmachine-index op door hun zoekalgoritmen toe te passen op de verzamelde gegevens. Zoekmachines kan dankzij de indexen relevante links aan gebruikers leveren, afhankelijk van hun zoekopdrachten.
Dit zijn webcrawlers die verder gaan dan zoekmachines, zoals de The Way Back Machine van het internetarchief, die snapshots biedt van webpagina's op specifieke punten in het verleden.
In eenvoudige woorden;
Een webcrawler-bot is vergelijkbaar met iemand die alle volumes in een ongeorganiseerde bibliotheek doorzoekt om een kaartencatalogus te maken, zodat iedereen die hem bezoekt snel en gemakkelijk de informatie kan krijgen die hij nodig heeft.
De organisator leest de titel, samenvatting en sommige van elk boek voor intern tekst om het onderwerp te bepalen om de boeken van de bibliotheek op onderwerp te categoriseren en te sorteren.
Hoe werkt een webcrawler?
Crawlers van internet, zoals Google's Googlebot, hebben een lijst met websites die ze elke dag willen bezoeken. Het heet een kruipbudget. De vraag naar indexeringspagina's wordt weerspiegeld in de begroting. Het crawlbudget wordt voornamelijk beïnvloed door twee factoren:
- populariteit
- oudheid
Populaire internet-URL's worden doorgaans vaker gescand om ze up-to-date te houden in de index. Webcrawlers doen ook hun best om URL's vers in de index te houden.
Een webcrawler downloadt en leest eerst het robots.txt-bestand wanneer deze verbinding maakt met een website. Het robots.txt-bestand bevat het robots.txt-bestand.
Waartoe user-agents wel en niet toegang hebben op een website, kan worden gedefinieerd door website-eigenaren. Crawl-delay-richtlijnen in Robots.txt kunnen worden gebruikt om de snelheid waarmee een crawler verzoeken naar een website doet, te vertragen.
Om ervoor te zorgen dat de crawler elke pagina kan vinden en de datum waarop deze voor het laatst is bijgewerkt, bevat robots.txt ook de sitemaps die zijn gekoppeld aan een bepaalde website. Een pagina wordt deze keer niet gecrawld als deze sinds de vorige keer niet is gewijzigd.
Een webcrawler laadt alle HTML, code van derden, JavaScript, en CSS wanneer het uiteindelijk een website vindt die moet worden gecrawld. De zoekmachine slaat deze gegevens op in zijn database, die vervolgens wordt gebruikt om de pagina te indexeren en te rangschikken.
Alle links op de pagina worden ook gedownload. Links die aan een lijst worden toegevoegd om later te worden gecrawld, zijn de links die nog niet zijn opgenomen in de index van de zoekmachine.
Je mag ook lezen
- Beste Expression Engine Cloud Hosting
- 8 sleutelelementen van digitale marketing
- De ultieme gids voor Bing Webmasterhulpprogramma's voor SEO
Soorten webcrawlers
Er zijn hoofdzakelijk vier verschillende soorten webcrawlers op basis van hoe ze werken.
Gerichte webcrawler
Om meer gelokaliseerd webmateriaal te bieden, zoeken, indexeren en halen gerichte crawlers alleen webinhoud op die relevant is voor een bepaald onderwerp. Elke link op een webpagina wordt gevolgd door een typische webcrawler.
Gerichte webcrawlers zoeken en indexeren, in tegenstelling tot gewone webcrawlers, de meest relevante links terwijl ze de niet-gerelateerde links negeren.
Incrementele crawler
Een webcrawler indexeert en crawlt een webpagina één keer, gaat dan periodiek terug en vernieuwt de verzameling om verouderde links te vervangen door nieuwe.
Incrementeel crawlen is het proces van het opnieuw bezoeken en opnieuw crawlen van eerder gecrawlde URL's. Het opnieuw crawlen van pagina's helpt bij het minimaliseren van consistentieproblemen in gedownloade documenten.
Gedistribueerde crawler
Om het webcrawlen te spreiden, zijn er meerdere crawlers tegelijk actief op verschillende websites.
Parallelle crawler
Om de downloadsnelheid te verhogen, voert een parallelle crawler meerdere crawlbewerkingen tegelijk uit.
Waarom worden webcrawlers 'spiders' genoemd?
Het World Wide Web, of in ieder geval het deel ervan waartoe de meeste mensen toegang hebben, is een andere naam voor internet, en het is waar de meeste website-adressen krijgen hun voorvoegsel "www".
Zoekmachinerobots worden gewoonlijk 'spiders' genoemd omdat ze op internet rondscharrelen op vrijwel dezelfde manier als echte spiders op spinnenwebben doen.
Wat is het verschil tussen webcrawlen en webscraping?
Wanneer een bot zonder toestemming website-inhoud downloadt, vaak met de bedoeling deze voor snode doeleinden te gebruiken, staat deze praktijk bekend als webscraping, data scraping of inhoud schrapen.
In de meeste gevallen is webschrapen veel meer gericht dan webcrawlen. Terwijl webcrawlers continu links volgen en pagina's crawlen, zijn webcrawlers mogelijk alleen geïnteresseerd in bepaalde pagina's of domeinen.
Webcrawlers, vooral die van grote zoekmachines, houden zich aan het robots.txt-bestand en beperken hun verzoeken om overbelasting van de webserver te voorkomen, in tegenstelling tot webscraper-bots die de belasting die ze op webservers plaatsen, kunnen negeren.
Kunnen webcrawlers SEO beïnvloeden?
Ja! Maar hoe?
Laten we dit stap voor stap opsplitsen. Door links op pagina's aan en uit te klikken, "crawlen" of "bezoeken" zoekmachines websites.
Maar u kunt een websitecrawl aanvragen bij zoekmachines door uw URL op Google Search Console in te dienen als u een nieuwe website heeft zonder links die de pagina's aan andere pagina's binden.
SEO, of zoekmachine optimalisatie, is de praktijk van het voorbereiden van informatie voor zoekindexering, zodat een website hoger in de resultaten van zoekmachines verschijnt.
Een website kan niet worden geïndexeerd en zal niet verschijnen in zoekresultaten als spiderbots deze niet crawlen.
Daarom is het van cruciaal belang dat webcrawler-bots niet worden geblokkeerd als een website-eigenaar organisch verkeer uit zoekresultaten wil ontvangen.
Uitdagingen van webcrawlen
Versheid van de database
Inhoud op websites wordt regelmatig gewijzigd. Bijvoorbeeld, dynamische webpagina's hun inhoud aanpassen aan de acties en het gedrag van gebruikers. Dit geeft aan dat nadat je een website hebt gecrawld, de broncode niet hetzelfde blijft.
De webcrawler moet dergelijke webpagina's vaker bezoeken om de gebruiker de meest recente informatie te geven.
Kruipvallen
Crawler-traps zijn een strategie die door websites wordt gebruikt om te voorkomen dat bepaalde webpagina's worden geopend en gecrawld door webcrawlers. Een webcrawler wordt gedwongen een onbeperkt aantal verzoeken uit te voeren als gevolg van een crawling trap, ook wel spider trap genoemd.
Crawler traps kunnen ook onbedoeld door websites worden opgezet. Hoe dan ook, een crawler komt terecht in wat lijkt op een oneindige cyclus wanneer hij een crawler-val tegenkomt en zijn bronnen verspilt.
Netwerkbandbreedte
Het gebruik van een gedistribueerde webcrawler, het downloaden van een groot aantal nutteloze online pagina's of het opnieuw crawlen van een groot aantal webpagina's leidt allemaal tot een aanzienlijk verbruik van netwerkcapaciteit.
Dubbele pagina's
Het merendeel van de dubbele inhoud op internet wordt gecrawld door webcrawler-bots, maar slechts één exemplaar van elke pagina wordt geïndexeerd. Het is een uitdaging voor bots van zoekmachines om te beslissen welke versie van gedupliceerd materiaal moet worden geïndexeerd en gerangschikt wanneer er duplicatie in de inhoud is.
Slechts één van een reeks identieke webpagina's die Googlebot vindt in een zoekresultaat, wordt geïndexeerd en gekozen om te worden weergegeven als reactie op de zoekopdracht van een gebruiker.
Links
- Yahoo webhostingplannen
- Hoe u een succesvolle dropshipping-website start
- Top 36 SEO-interviewvragen
- Surfer-SEO versus Page Optimizer Pro
Voorbeelden van webcrawlers
Elke bekende zoekmachine heeft een webcrawler en de grote hebben talloze crawlers, elk met een bepaalde focus. De primaire crawler van Google, Googlebot, verwerkt bijvoorbeeld zowel desktop- als mobiele crawling.
Maar er zijn er ook nog een aantal Google-bots, zoals Googlebot News, Googlebot Photos, Googlebot Videos en AdsBot. Dit zijn enkele extra webcrawlers die u kunt tegenkomen:
- DuckDuckBot voor DuckDuckGo
- Yandex-bot voor Yandex
- Baiduspider voor Baidu
- Yahoo! Slurpen voor Yahoo!
- Amazon-bot voor Amazon
- Bingbot voor Bing
Er bestaan ook andere gespecialiseerde bots, zoals MSNBot-Media en BingPreview. MSNBot, dat vroeger de primaire crawler was, maar sindsdien aan de kant is geschoven voor routinematig crawlen, is nu alleen verantwoordelijk voor kleine websitecrawltaken.
Webcrawler - Conclusie
Dus nu hopen we dat je een goed begrip hebt van webcrawlers en wat ze zijn? Hoe werken deze? Hun connectie met webschrapen en nog veel meer.
Links
