쉽게 접근할 수 있는 정보에 대한 입구를 제공하는 잘 알려지지 않은 검색 엔진의 조수인 웹 크롤러는 인터넷 콘텐츠를 수집하는 데 필수적입니다. 또한 검색 엔진 최적화(SEO) 계획에도 중요합니다.
이제 여기서 주목해야 할 점은 검색 엔진은 마술처럼 인터넷에 어떤 웹사이트가 있는지 알지 못합니다.. 특정 웹사이트가 검색 엔진에 존재하려면 색인이 생성되어야 하며, 여기서 "웹 크롤러"가 작동합니다.
키워드와 문구 또는 사용자가 유익한 페이지를 찾기 위해 사용하는 용어에 대한 적절한 페이지를 제공하기 전에 이러한 알고리즘은 해당 페이지를 크롤링하고 색인을 생성해야 합니다.
즉, 검색 엔진은 웹 크롤러 프로그램의 도움으로 인터넷에서 페이지를 탐색한 다음 향후 검색에 사용할 수 있도록 해당 페이지에 대한 정보를 저장합니다.
웹 크롤링이란 무엇입니까?
웹 크롤링은 소프트웨어나 자동화된 스크립트를 활용하여 다음을 수행하는 프로세스입니다. 인덱스 데이터 웹 페이지에서. 이러한 자동화된 스크립트 또는 프로그램은 웹 크롤러, 스파이더, 스파이더 봇 또는 그냥 크롤러라고도 합니다.
웹 크롤러란 무엇입니까?
웹 크롤러로 알려진 소프트웨어 로봇은 인터넷을 검색하고 발견한 정보를 다운로드합니다.
Google, Bing, Baidu 및 DuckDuckGo와 같은 검색 엔진은 대부분의 사이트 크롤러를 실행합니다.
검색 엔진은 수집된 데이터에 검색 알고리즘을 적용하여 검색 엔진 인덱스를 구축합니다. 검색 엔진 인덱스 덕분에 사용자의 검색어에 따라 적절한 링크를 사용자에게 전달할 수 있습니다.
이는 과거 특정 시점의 웹페이지 스냅샷을 제공하는 Internet Archive의 The Way Back Machine과 같이 검색 엔진 이상의 목적을 제공하는 웹 크롤러입니다.
간단히 말해서;
웹 크롤러 봇은 정리되지 않은 도서관의 모든 책을 정리하여 카드 카탈로그를 만드는 사람과 유사하며, 이를 통해 방문하는 사람은 누구나 필요한 정보를 빠르고 쉽게 얻을 수 있습니다.
주최자는 각 책의 제목, 요약 및 일부 내용을 읽습니다. 내부의 도서관의 도서를 주제별로 분류하고 정렬하는 데 도움이 되도록 주제를 결정하는 텍스트입니다.
웹 크롤러는 어떻게 작동하나요?
Google의 Googlebot과 같은 인터넷 크롤러에는 매일 방문하고 싶은 웹사이트 목록이 있습니다. 이를 크롤링 예산이라고 합니다. 색인 페이지에 대한 수요가 예산에 반영됩니다. 크롤링 예산은 주로 다음 두 가지 요소의 영향을 받습니다.
- 인기순
- 부실함
인기 있는 인터넷 URL은 일반적으로 색인에서 최신 상태로 유지하기 위해 더 자주 검색됩니다. 웹 크롤러는 또한 색인에서 URL을 최신 상태로 유지하려고 노력합니다.
웹 크롤러는 웹사이트에 연결할 때 먼저 robots.txt 파일을 다운로드하고 읽습니다. 로봇이 웹을 탐색하고, 자료에 액세스하고, 색인을 생성하고, 해당 콘텐츠를 사용자에게 제공하는 방법을 관리하는 온라인 표준 세트인 로봇 배제 프로토콜(REP)에는 robots.txt 파일이 포함되어 있습니다.
사용자 에이전트가 웹사이트에서 액세스할 수 있는 것과 액세스할 수 없는 것은 웹사이트 소유자가 정의할 수 있습니다. Robots.txt의 크롤링 지연 지시문을 사용하면 크롤러가 웹사이트에 요청하는 속도를 늦출 수 있습니다.
크롤러가 모든 페이지와 마지막 업데이트 날짜를 찾을 수 있도록 robots.txt에는 특정 웹사이트에 링크된 사이트맵도 포함되어 있습니다. 페이지가 이전 이후 변경되지 않은 경우 이번에는 페이지가 크롤링되지 않습니다.
웹 크롤러는 모든 것을 로드합니다. HTML, 타사 코드, 자바 스크립트, CSS는 결국 크롤링해야 할 웹사이트를 발견합니다. 검색 엔진은 이 데이터를 데이터베이스에 저장한 다음 페이지를 색인화하고 순위를 매기는 데 사용합니다.
페이지의 모든 링크도 다운로드됩니다. 나중에 크롤링하기 위해 목록에 추가된 링크는 아직 검색 엔진의 색인에 포함되지 않은 링크입니다.
너는 또한 읽을지도 모른다
웹 크롤러의 유형
작동 방식에 따라 크게 네 가지 유형의 웹 크롤러가 있습니다.
집중형 웹 크롤러
보다 현지화된 웹 자료를 제공하기 위해 집중형 크롤러는 특정 주제와 관련된 웹 콘텐츠만 검색, 색인화 및 검색합니다. 웹페이지의 각 링크 뒤에는 일반적인 웹 크롤러가 따라옵니다.
일반 웹 크롤러와 달리 집중형 웹 크롤러는 관련 없는 링크를 무시하면서 가장 관련성이 높은 링크를 찾아 색인을 생성합니다.
증분 크롤러
웹 크롤러는 웹 페이지를 한 번 색인화하고 크롤링한 다음 주기적으로 돌아가서 컬렉션을 새로 고쳐 오래된 링크를 새로운 링크로 대체합니다.
증분 크롤링은 이전에 크롤링한 URL을 다시 방문하고 다시 크롤링하는 프로세스입니다. 페이지 재크롤링은 다운로드한 문서의 일관성 문제를 최소화하는 데 도움이 됩니다.
분산 크롤러
웹 크롤링 작업을 분산시키기 위해 다양한 웹 사이트에서 수많은 크롤러가 동시에 활성화됩니다.
병렬 크롤러
다운로드 속도를 높이기 위해 병렬 크롤러는 여러 크롤링 작업을 동시에 실행합니다.
웹 크롤러를 '스파이더'라고 부르는 이유는 무엇입니까?
월드 와이드 웹(World Wide Web), 또는 적어도 대다수의 사람들이 접속하는 부분은 인터넷의 또 다른 이름이며, 가장 많은 사람들이 접속하는 곳입니다. 웹사이트 주소 "www" 접두사를 얻습니다.
검색 엔진 로봇은 실제 거미가 거미줄에서 하는 것과 거의 같은 방식으로 인터넷을 탐색하기 때문에 일반적으로 "거미"라고 불립니다.
웹 크롤링과 웹 스크래핑의 차이점은 무엇입니까?
봇이 악의적인 목적으로 활용하려는 의도로 승인 없이 웹사이트 콘텐츠를 다운로드하는 경우를 웹 스크래핑, 데이터 스크레이핑 또는 웹 스크래핑이라고 합니다. 콘텐츠 스크래핑.
대부분의 경우 웹 스크래핑은 웹 크롤링보다 훨씬 더 집중적입니다. 웹 크롤러는 지속적으로 링크를 따르고 페이지를 크롤링하지만 웹 스크래퍼는 특정 페이지나 도메인에만 관심을 가질 수 있습니다.
웹 크롤러, 특히 주요 검색 엔진의 웹 크롤러는 웹 서버에 가해지는 부하를 무시할 수 있는 웹 스크래퍼 봇과 달리 웹 서버의 과부하를 피하기 위해 robots.txt 파일을 준수하고 요청을 제한합니다.
웹 크롤러가 SEO에 영향을 미칠 수 있나요?
예! 하지만 어떻게?
이를 단계별로 분석해 보겠습니다. 페이지의 링크를 클릭하거나 클릭하면 검색 엔진이 웹사이트를 "크롤링"하거나 "방문"합니다.
하지만 페이지를 다른 페이지와 연결하는 링크가 없는 새로운 웹사이트가 있는 경우 Google Search Console에 URL을 제출하여 검색 엔진에서 웹사이트 크롤링을 요청할 수 있습니다.
SEO 또는 검색 엔진 최적화는 웹사이트가 검색 엔진 결과에서 상위에 나타나도록 검색 색인을 위한 정보를 준비하는 관행입니다.
웹 사이트는 색인을 생성할 수 없으며 스파이더 봇이 크롤링하지 않으면 검색 결과에 표시되지 않습니다.
따라서 웹사이트 소유자가 검색 결과에서 유기적인 트래픽을 수신하려는 경우 웹 크롤러 봇을 차단하지 않는 것이 중요합니다.
웹 크롤링의 과제
데이터베이스 신선도
웹사이트의 콘텐츠는 자주 변경됩니다. 예를 들어, 동적 웹 페이지 콘텐츠를 사용자의 행동과 태도에 맞게 조정합니다. 이는 웹사이트를 크롤링한 후 소스 코드가 동일하게 유지되지 않음을 나타냅니다.
웹 크롤러는 사용자에게 최신 정보를 제공하기 위해 이러한 웹 페이지를 더 자주 다시 방문해야 합니다.
크롤러 트랩
크롤러 트랩은 웹 크롤러가 특정 웹 페이지에 액세스하고 크롤링하는 것을 방지하기 위해 웹 사이트에서 사용하는 전략 중 하나입니다. 웹 크롤러는 스파이더 트랩이라고도 알려진 크롤링 트랩의 결과로 요청을 무제한으로 수행해야 합니다.
크롤러 트랩은 웹사이트에서 의도하지 않게 설치될 수도 있습니다. 어쨌든 크롤러는 크롤러 트랩을 발견하면 무한 주기와 유사한 상황에 진입하여 리소스를 낭비하게 됩니다.
네트워크 대역폭
분산형 웹 크롤러를 사용하거나, 무의미한 온라인 페이지를 대량으로 다운로드하거나, 대량의 웹 페이지를 다시 크롤링하는 행위는 모두 상당한 비율의 네트워크 용량 소모로 이어집니다.
페이지 중복
인터넷에 있는 대부분의 중복 콘텐츠는 웹 크롤러 봇에 의해 크롤링되지만 각 페이지의 사본 하나만 색인화됩니다. 콘텐츠에 중복이 있을 때 검색 엔진 봇이 색인을 생성하고 순위를 매길 중복 자료의 버전을 결정하는 것은 어렵습니다.
Googlebot이 검색결과에서 찾은 동일한 웹페이지 집합 중 하나만 색인이 생성되고 사용자의 검색어에 대한 응답으로 표시되도록 선택됩니다.
한눈에 보기
웹 크롤러 예
잘 알려진 모든 검색 엔진에는 웹 크롤러가 있고, 대형 검색 엔진에는 각각 특정 초점을 맞춘 수많은 크롤러가 있습니다. 예를 들어, Google의 기본 크롤러인 Googlebot은 데스크톱 및 모바일 크롤링을 모두 처리합니다.
그러나 그 밖에도 여러 가지가 있습니다 구글 봇, Googlebot 뉴스, Googlebot 사진, Googlebot 동영상, AdsBot 등이 있습니다. 다음은 발생할 수 있는 몇 가지 추가 웹 크롤러입니다.
- DuckDuckGo용 DuckDuckBot
- Yandex용 Yandex 봇
- Baidu용 Baiduspider
- 야후! 야후!
- 아마존을 위한 아마존 봇
- Bing용 Bingbot
MSNBot-Media 및 BingPreview와 같은 다른 특수 봇도 존재합니다. 원래는 기본 크롤러였지만 일상적인 크롤링을 위해 옆으로 밀려난 MSNBot는 이제 소규모 웹 사이트 크롤링 작업만 담당합니다.
웹 크롤러 - 결론
이제 웹 크롤러와 그것이 무엇인지 명확하게 이해하셨기를 바랍니다. 이것들은 어떻게 작동하나요? 웹 스크래핑 등과의 연결.
한눈에 보기
