Web クローラーは、簡単にアクセスできる情報への入り口を提供する、あまり知られていない検索エンジンの相棒であり、インターネット コンテンツの収集に不可欠です。 また、検索エンジン最適化 (SEO) 計画にとっても重要です。
ここで注目すべきは、 検索エンジンは、インターネット上に存在する Web サイトを魔法のように認識していません。. 特定の Web サイトが検索エンジンに存在するためには、インデックスを作成する必要があり、ここで「Web クローラー」の出番です。
キーワードやフレーズ、またはユーザーが有益なページを見つけるために使用する用語に適したページを配信する前に、これらのアルゴリズムはページをクロールしてインデックスに登録する必要があります。
つまり、検索エンジンは、Web クローラー プログラムを使用してインターネットでページを探索し、それらのページに関する情報を保存して、今後の検索で使用できるようにします。
ウェブクローリングとは何ですか?
Web クローリングは、ソフトウェアまたは自動化されたスクリプトを利用して、 インデックスデータ ウェブページで。 これらの自動化されたスクリプトまたはプログラムは、Web クローラー、スパイダー、スパイダー ボット、または単にクローラーと呼ばれることもあります。
ウェブクローラーとは？
Web クローラーと呼ばれるソフトウェア ロボットは、インターネットを検索し、発見した情報をダウンロードします。
Google、Bing、Baidu、DuckDuckGo などの検索エンジンは、サイト クローラーの大部分を実行します。
検索エンジンは、収集したデータに検索アルゴリズムを適用して検索エンジン インデックスを作成します。 検索エンジン インデックスのおかげで、検索クエリに応じて適切なリンクをユーザーに配信できます。
これらは、過去の特定の時点での Web ページのスナップショットを提供する Internet Archive の The Way Back Machine など、検索エンジンを超えた目的に役立つ Web クローラーです。
簡単に言えば;
Web クローラー ボットは、整理されていない図書館のすべての本を並べ替えてカード カタログを作成する人のようなもので、訪問者は誰でも必要な情報をすばやく簡単に入手できます。
主催者は、各本のタイトル、概要、およびいくつかの説明を読み上げます。 内部 図書館の本をテーマごとに分類およびソートするために、テキストを使用してトピックを決定します。
Webクローラーはどのように機能しますか?
Google の Googlebot のようなインターネットのクローラーは、毎日アクセスしたい Web サイトのリストを持っています。 これはクロール バジェットと呼ばれます。 ページのインデックス作成に対する需要は、予算に反映されます。 クロール バジェットは、主に次の XNUMX つの要因の影響を受けます。
- 人気
- 古さ
通常、人気のあるインターネット URL はより頻繁にスキャンされ、インデックス内で最新の状態に保たれます。 Web クローラーは、インデックス内の URL を最新の状態に保つためにも努力します。
Web クローラーは、Web サイトに接続するときに、最初に robots.txt ファイルをダウンロードして読み取ります。 ロボットが Web を探索し、素材にアクセスしてインデックスを作成し、そのコンテンツをユーザーに提供する方法を管理する一連のオンライン標準であるロボット排除プロトコル (REP) には、robots.txt ファイルが含まれています。
Web サイトでアクセスできるユーザー エージェントとアクセスできないユーザー エージェントは、Web サイトの所有者が定義できます。 Robots.txt のクロール遅延ディレクティブを使用して、クローラーが Web サイトにリクエストを行う速度を遅くすることができます。
クローラーがすべてのページとその最終更新日を見つけるために、robots.txt には特定の Web サイトにリンクされたサイトマップも含まれています。 前回から変更されていないページは、今回はクロールされません。
Web クローラーは、 HTML、サードパーティ コード、 JavaScriptを、クロールする必要がある Web サイトを最終的に見つけたときの CSS です。 検索エンジンはこのデータをデータベースに保存し、ページのインデックスとランク付けに使用します。
ページ上のすべてのリンクもダウンロードされます。 後でクロールするリストに追加されたリンクは、検索エンジンのインデックスにまだ含まれていないリンクです。
また読むことができます
Webクローラーの種類
動作方法に基づいて、主に XNUMX つの異なるタイプの Web クローラーがあります。
フォーカスされた Web クローラー
よりローカライズされた Web 素材を提供するために、フォーカス クローラーは、特定のトピックに関連する Web コンテンツのみを検索、インデックス作成、および取得します。 Web ページ上の各リンクは、一般的な Web クローラーによって追跡されます。
集中型 Web クローラーは、通常の Web クローラーとは対照的に、関連のないリンクを無視して、最も適切なリンクを探してインデックスを作成します。
増分クローラー
Web クローラーは、Web ページのインデックス作成とクロールを XNUMX 回行います。その後、定期的に戻ってそのコレクションを更新し、古いリンクを新しいものに置き換えます。
インクリメンタル クロールとは、以前にクロールした URL に再度アクセスして再クロールするプロセスです。 ページの再クロールは、ダウンロードしたドキュメントの一貫性の問題を最小限に抑えるのに役立ちます。
分散クローラー
Web クローリング操作を分散させるために、さまざまな Web サイトで多数のクローラーが同時にアクティブになります。
平行クローラ
ダウンロード速度を上げるために、並列クローラーは複数のクロール操作を同時に実行します。
Web クローラーが「スパイダー」と呼ばれるのはなぜですか?
ワールド ワイド ウェブ、または少なくとも大多数の人々がアクセスするその一部は、インターネットの別名です。 ウェブサイトのアドレス 「www」プレフィックスを取得します。
検索エンジン ロボットは、実際のクモがクモの巣で行うのとほぼ同じ方法でインターネットをトロールするため、一般に「クモ」と呼ばれます。
WebクロールとWebスクレイピングの違いは何ですか?
ボットが Web サイトのコンテンツを許可なくダウンロードする場合、悪意のある目的で利用することが多いため、この行為は Web スクレイピング、データ スクレイピング、または コンテンツスクレイピング.
ほとんどの場合、Web スクレイピングは Web クローリングよりもはるかに重点を置いています。 Web クローラーは継続的にリンクをたどってページをクロールしますが、Web スクレイパーは特定のページまたはドメインにのみ関心がある場合があります。
Web クローラー、特に主要な検索エンジンの Web クローラーは、robots.txt ファイルに準拠し、Web サーバーにかかる負荷を無視する Web スクレイパー ボットとは異なり、Web サーバーの過負荷を避けるために要求を制限します。
Web クローラーは SEO に影響しますか?
はい！ しかし、どのように？
これを段階的に分解してみましょう。 ページ上のリンクをクリックしたりオフにしたりすることで、検索エンジンは Web サイトを「クロール」または「訪問」します。
ただし、ページを他のページに結び付けるリンクがない新しい Web サイトがある場合は、Google Search Console で URL を送信することにより、検索エンジンから Web サイトのクロールを要求できます。
SEO、または 検索エンジン最適化は、検索エンジンの結果で Web サイトが上位に表示されるように、検索インデックス作成用の情報を準備する方法です。
Web サイトは、スパイダー ボットがクロールしないと、インデックスを作成できず、検索結果に表示されません。
このため、Web サイトの所有者が検索結果からオーガニック トラフィックを受け取りたい場合は、Web クローラー ボットをブロックしないことが重要です。
ウェブクロールの課題
データベースの鮮度
Web サイトのコンテンツは頻繁に変更されます。 例えば、 動的なWebページ ユーザーの行動や態度にコンテンツを適応させます。 これは、Web サイトをクロールした後、ソース コードが同じままではないことを示しています。
Web クローラーは、ユーザーに最新の情報を提供するために、そのような Web ページをより頻繁に再訪問する必要があります。
クローラートラップ
クローラー トラップは、Web クローラーによる特定の Web ページへのアクセスとクロールを阻止するために Web サイトで使用される戦略の XNUMX つです。 Web クローラーは、クロール トラップ (スパイダー トラップとも呼ばれます) の結果として、無制限の数の要求を実行することを余儀なくされます。
クローラー トラップは、Web サイトによって意図せず設定されることもあります。 いずれにしても、クローラー トラップに遭遇すると、クローラーは無限サイクルに似た状態に入り、リソースを浪費します。
ネットワーク回線容量
分散 Web クローラーを使用したり、無意味なオンライン ページを大量にダウンロードしたり、大量の Web ページを再クロールしたりすると、ネットワーク容量が大幅に消費されます。
重複ページ
インターネット上の重複コンテンツの大部分は Web クローラー ボットによってクロールされますが、各ページの XNUMX つのコピーのみがインデックスに登録されます。 コンテンツに重複がある場合、検索エンジン ボットにとって、重複する素材のどのバージョンをインデックスに登録してランク付けするかを決定するのは困難です。
Googlebot が検索結果で見つけた一連の同一の Web ページの XNUMX つだけがインデックスに登録され、ユーザーの検索クエリに応じて表示されるように選択されます。
Links
Web クローラーの例
よく知られているすべての検索エンジンには Web クローラーがあり、大きなものには多数のクローラーがあり、それぞれに特定の焦点があります。 たとえば、Google のプライマリ クローラーである Googlebot は、デスクトップとモバイルの両方のクロールを処理します。
しかし、他にもたくさんあります Google ボット、 Googlebot News、Googlebot Photos、Googlebot Videos、AdsBot など。 これらは、遭遇する可能性のあるいくつかの追加の Web クローラーです。
- DuckDuckGo の DuckDuckBot
- YandexのYandexボット
- Baidu の Baiduspider
- ヤフー！ ヤフーのために丸呑み！
- アマゾンのアマゾンボット
- Bing の Bingbot
MSNBot-Media や BingPreview など、他の特殊なボットも存在します。 MSNBot は、以前は主要なクローラーでしたが、定期的なクロールは脇に追いやられており、現在は小さな Web サイト クロール タスクのみを担当しています。
Web クローラー - まとめ
これで、Web クローラーとその内容を明確に理解できたと思いますか? これらはどのように機能しますか？ Webスクレイピングなどとの関係。
Links
