Ang mga web crawler, ang hindi kilalang sidekick ng mga search engine na nagbibigay ng pasukan sa madaling ma-access na impormasyon, ay mahalaga para sa pangangalap ng nilalaman sa internet. Gayundin, ang mga ito ay mahalaga sa iyong search engine optimization (SEO) plan.
Ngayon ang bagay na dapat tandaan dito ay iyon Ang mga search engine ay hindi mahiwagang alam kung anong mga website ang umiiral sa Internet. Para magkaroon ng pag-iral ang isang partikular na website sa mga search engine, kailangan itong ma-index, at dito papasok ang "Web Crawlers".
Bago ihatid ang mga naaangkop na pahina para sa mga keyword at parirala, o ang mga terminong ginagamit ng mga user upang maghanap ng kapaki-pakinabang na pahina, dapat na i-crawl at i-index ang mga ito ng mga algorithm na ito.
Sa madaling salita, ginalugad ng mga search engine ang Internet para sa mga pahina sa tulong ng mga web crawler program, pagkatapos ay iimbak ang impormasyon tungkol sa mga pahinang iyon para magamit sa mga paghahanap sa hinaharap.
Ano ang Web Crawling?
Ang web crawling ay ang proseso ng paggamit ng software o automated na script sa data ng index sa mga web page. Ang mga awtomatikong script o program na ito ay tinutukoy kung minsan bilang mga web crawler, spider, spider bot, o crawler lang.
Ano ang isang Web Crawler?
Ang isang software robot na kilala bilang isang web crawler ay naghahanap sa internet at nagda-download ng impormasyong natuklasan nito.
Ang mga search engine tulad ng Google, Bing, Baidu, at DuckDuckGo ay nagpapatakbo ng karamihan sa mga crawler ng site.
Binubuo ng mga search engine ang kanilang index ng search engine sa pamamagitan ng paglalapat ng kanilang mga algorithm sa paghahanap sa nakalap na data. Mga search engine maaaring maghatid ng mga nauugnay na link sa mga user depende sa kanilang mga query sa paghahanap salamat sa mga index.
Ito ang mga web crawler na nagsisilbi sa mga layuning lampas sa mga search engine, tulad ng The Way Back Machine ng Internet Archive, na nag-aalok ng mga snapshot ng mga webpage sa mga partikular na punto sa nakaraan.
Sa simpleng salita;
Ang isang web crawler bot ay katulad ng isang tao na nag-uuri sa lahat ng volume sa isang hindi organisadong library upang lumikha ng isang card catalogue, na nagbibigay-daan sa sinumang bumibisita na makuha ang impormasyong kailangan nila nang mabilis at madali.
Babasahin ng organizer ang pamagat, buod, at ilan ng bawat aklat panloob teksto upang matukoy ang paksa nito upang makatulong sa pagkakategorya at pag-uri-uriin ang mga aklat ng aklatan ayon sa paksa.
Paano gumagana ang isang Web Crawler?
Ang mga crawler ng internet, tulad ng Googlebot ng Google, ay may listahan ng mga website na gusto nilang bisitahin araw-araw. Tinatawag itong crawl budget. Ang pangangailangan para sa pag-index ng mga pahina ay makikita sa badyet. Ang badyet sa pag-crawl ay pangunahing naaapektuhan ng dalawang salik:
- Kasikatan
- Kawalang-sigla
Ang mga sikat na URL sa Internet ay karaniwang mas madalas na ini-scan upang panatilihing napapanahon ang mga ito sa index. Sinisikap din ng mga web crawler na panatilihing sariwa ang mga URL sa index.
Ang isang web crawler ay unang nagda-download at nagbabasa ng robots.txt file kapag kumonekta ito sa isang website. Kasama sa robots exclusion protocol (REP), isang hanay ng mga online na pamantayan na namamahala sa kung paano ginalugad ng mga robot ang web, pag-access at pag-index ng materyal, at paghahatid ng content na iyon sa mga user, kasama ang robots.txt file.
Kung ano ang maaari at hindi ma-access ng mga user agent sa isang website ay maaaring tukuyin ng mga may-ari ng website. Maaaring gamitin ang mga direktiba sa pagkaantala sa pag-crawl sa Robots.txt upang pabagalin ang bilis ng paghiling ng isang crawler sa isang website.
Upang mahanap ng crawler ang bawat page at ang petsa kung kailan ito huling na-update, kasama rin sa robots.txt ang mga sitemap na naka-link sa isang partikular na website. Ang isang pahina ay hindi mako-crawl sa pagkakataong ito kung hindi ito nagbago mula noong nakaraang panahon.
Nilo-load ng isang web crawler ang lahat ng HTML, third-party na code, JavaScript, at CSS kapag nakahanap ito ng website na kailangang i-crawl. Iniimbak ng search engine ang data na ito sa database nito, na pagkatapos ay ginagamit upang i-index at ranggo ang pahina.
Ang lahat ng mga link sa pahina ay dina-download din. Ang mga link na idinagdag sa isang listahan na iko-crawl sa ibang pagkakataon ay yaong mga hindi pa kasama sa index ng search engine.
Maaari mo ring basahin
- Pinakamahusay na Expression Engine Cloud Hosting
- 8 Pangunahing Elemento Ng Digital Marketing
- Ang Pinakamahusay na Gabay sa Bing Webmaster Tools Para sa SEO
Mga Uri ng Web Crawler
Mayroong pangunahing apat na iba't ibang uri ng mga Web crawler batay sa kung paano sila gumagana.
Nakatuon sa web crawler
Upang makapagbigay ng mas naka-localize na materyal sa web, ang mga nakatutok na crawler ay naghahanap lamang, nag-index, at kumukuha ng nilalaman sa web na nauugnay sa isang partikular na paksa. Ang bawat link sa isang web page ay sinusundan ng isang tipikal na web crawler.
Ang mga nakatutok na web crawler, kumpara sa mga ordinaryong web crawler, ay naghahanap at nag-index ng mga pinakamahalagang link habang binabalewala ang mga hindi nauugnay.
Incremental na crawler
Ang isang web crawler ay mag-i-index at mag-crawl ng isang web page nang isang beses, pagkatapos ay pana-panahong babalik at i-refresh ang koleksyon nito upang palitan ang mga lumang link ng mga bago.
Ang incremental na pag-crawl ay ang proseso ng muling pagbisita at muling pag-crawl sa mga dating na-crawl na URL. Ang muling pag-crawl ng pahina ay tumutulong sa pagliit ng mga isyu sa pagkakapare-pareho sa mga na-download na dokumento.
Ibinahagi ang crawler
Upang ikalat ang mga operasyon sa pag-crawl sa web, maraming crawler ang aktibo nang sabay-sabay sa iba't ibang mga website.
Parallel crawler
Upang mapataas ang rate ng pag-download, ang isang parallel na crawler ay nagsasagawa ng ilang mga operasyon sa pag-crawl nang sabay-sabay.
Bakit tinatawag na 'mga spider' ang mga web crawler?
Ang World Wide Web, o hindi bababa sa bahagi nito na ina-access ng karamihan ng mga tao, ay isa pang pangalan para sa Internet, at dito karamihan Mga Address ng website kunin ang kanilang prefix na "www".
Ang mga search engine robot ay karaniwang tinutukoy bilang "mga spider" dahil sila ay nag-trawl sa Internet sa halos parehong paraan na ginagawa ng mga aktwal na spider sa mga spiderweb.
Ano ang pagkakaiba sa pagitan ng web crawling at web scraping?
Kapag ang isang bot ay nag-download ng nilalaman ng website nang walang pahintulot, madalas na may layunin na gamitin ito para sa mga kasuklam-suklam na layunin, ang kasanayang ito ay kilala bilang web scraping, data scraping, o pag-scrap ng nilalaman.
Sa karamihan ng mga kaso, ang web scraping ay higit na nakatuon kaysa sa web crawling. Habang ang mga web crawler ay patuloy na sumusunod sa mga link at mga pahina ng pag-crawl, ang mga web scraper ay maaaring interesado lamang sa ilang mga pahina o domain.
Ang mga web crawler, lalo na ang mga mula sa mga pangunahing search engine, ay susunod sa robots.txt file at lilimitahan ang kanilang mga kahilingan upang maiwasan ang labis na pagkarga sa web server, hindi tulad ng mga web scraper bot na maaaring balewalain ang pag-load na kanilang inilalagay sa mga web server.
Maaapektuhan ba ng mga web crawler ang SEO?
Oo! Pero paano?
Hatiin natin ito nang sunud-sunod. Sa pamamagitan ng pag-click sa on at off ng mga link sa mga pahina, ang mga search engine ay "crawl" o "bisitahin" ang mga website.
Ngunit, maaari kang humiling ng pag-crawl ng website mula sa mga search engine sa pamamagitan ng pagsusumite ng iyong URL sa Google Search Console kung mayroon kang bagong website na walang mga link na nag-uugnay sa mga pahina nito sa iba.
SEO, o search engine-optimize, ay ang kasanayan ng paghahanda ng impormasyon para sa pag-index ng paghahanap upang ang isang website ay lumitaw nang mas mataas sa mga resulta ng search engine.
Hindi ma-index ang isang website at hindi lalabas sa mga resulta ng paghahanap kung hindi ito gina-crawl ng mga spider bot.
Dahil dito, napakahalaga na ang mga web crawler bot ay hindi ma-block kung nais ng isang may-ari ng website na makatanggap ng organikong trapiko mula sa mga resulta ng paghahanap.
Mga Hamon ng Web Crawling
Ang pagiging bago ng database
Ang nilalaman sa mga website ay madalas na nagbabago. Halimbawa, mga dynamic na web page iakma ang kanilang nilalaman sa mga aksyon at kilos ng mga gumagamit. Ipinapahiwatig nito na pagkatapos mong i-crawl ang isang website, hindi mananatiling pareho ang source code.
Dapat na muling bisitahin ng web crawler ang mga naturang web page nang mas madalas upang maibigay sa user ang pinakabagong impormasyon.
Mga bitag ng crawler
Ang mga crawler traps ay isang diskarte na ginagamit ng mga website upang pigilan ang ilang partikular na web page na ma-access at ma-crawl ng mga web crawler. Ang isang web crawler ay napipilitang magsagawa ng walang limitasyong bilang ng mga kahilingan bilang resulta ng isang crawling trap, na kilala rin bilang isang spider trap.
Ang mga crawler traps ay maaari ding hindi sinasadyang i-set up ng mga website. Sa anumang kaganapan, ang isang crawler ay pumapasok sa kung ano ang kahawig ng isang walang katapusang cycle kapag nakatagpo ito ng isang crawler trap, na nagsasayang ng mga mapagkukunan nito.
Bandwidth ng Network
Ang paggamit ng isang distributed web crawler, pag-download ng malaking bilang ng mga walang kabuluhang online na pahina, o muling pag-crawl ng malaking bilang ng mga web page ay humahantong lahat sa makabuluhang rate ng pagkonsumo ng kapasidad ng network.
Mga dobleng pahina
Ang karamihan ng duplicate na nilalaman sa internet ay kino-crawl ng mga web crawler bot, ngunit isang kopya lamang ng bawat pahina ang na-index. Mahirap para sa mga search engine bot na magpasya kung aling bersyon ng duplicate na materyal ang ii-index at ira-rank kapag may duplikasyon sa nilalaman.
Isa lamang sa hanay ng magkakaparehong mga web page na nahahanap ng Googlebot sa isang resulta ng paghahanap ang na-index at piniling ipakita bilang tugon sa query sa paghahanap ng user.
Quick Links
- Yahoo Web Hosting Plans
- Paano Magsimula ng Isang Matagumpay na Dropshipping Website
- Nangungunang 36 Mga Tanong sa Panayam sa SEO
- Surfer SEO vs. Page Optimizer Pro
Mga halimbawa ng Web Crawler
Ang bawat kilalang search engine ay may web crawler, at ang malalaki ay may maraming crawler, bawat isa ay may partikular na pokus. Halimbawa, pinangangasiwaan ng pangunahing crawler ng Google, ang Googlebot, ang desktop at mobile na pag-crawl.
Ngunit mayroon ding isang bilang ng iba pa Google bots, tulad ng Googlebot News, Googlebot Photos, Googlebot Videos, at AdsBot. Ito ang ilang karagdagang mga web crawler na maaari mong makaharap:
- DuckDuckBot para sa DuckDuckGo
- Yandex Bot para sa Yandex
- Baiduspider para sa Baidu
- Yahoo! Slurp para sa Yahoo!
- Amazon bot para sa Amazon
- Bingbot para sa Bing
Ang iba pang mga espesyal na bot ay umiiral din, tulad ng MSNBot-Media at BingPreview. Ang MSNBot, na dating pangunahing crawler nito ngunit mula noon ay itinulak sa gilid para sa regular na pag-crawl, ngayon ay responsable na lamang para sa maliliit na gawain sa pag-crawl sa website.
Web Crawler- Konklusyon
Kaya ngayon umaasa kaming mayroon kang malinaw na pag-unawa sa mga web crawler, at ano ang mga ito? Paano gumagana ang mga ito? Ang kanilang koneksyon sa web scraping at marami pang iba.
Quick Links
