Googleクローラーの種類と対策、フェッチャーの利用方法【Google検索セントラルの解説】
Google社は、Google検索セントラルにて、クローラーとフェッチャーについて解説するガイドを公開しています。
参考（外部）：Googleクローラーとフェッチャーの概要（ユーザー エージェント）
本ガイドによると、Googleクローラーは、一般的なクローラー、特殊なクローラー、ユーザートリガーフェッチャーの3つに大別されるといいます。本ガイドを読み、クローラーの種類や仕様を把握することで、効率的に自社ページを検索エンジンにインデックスできるようになります。
関連記事：クローラーの管理【Google検索セントラルの解説】
そこで今回は、クローラーとフェッチャーを題材としたガイドの読み方を解説していきます。SEO対策するうえで、Google検索セントラルは、有用な情報の宝庫であるものの、WEB初心者にとってとっつきにくいのも事実です。そんな方に向けて、ガイドを実務に落とし込む方法をお伝えします。
クローラーとフェッチャーの管理はSEO対策の起点になる
クローラー（Crawler）とフェッチャー（fetcher）の管理は、SEO対策の起点になります。どういうことかというと、そもそも、自社サイトを検索エンジンの検索結果に表示するためには、クロール、インデックス、ランキングの決定という3つの工程を踏むことになります。
関連記事：Google検索エンジンの仕組みとは？上位表示されるためのポイントを解説
このクロールに対する対策として挙げられるのが、robots.txtでGooglebotの動きを制御することと、フェッチャーを利用してクローラーの動き方に対するリクエストを出すことです。
robots.txtやフェッチャーでクローラーの動きをコントロールすることで、自社サイトの情報を検索エンジンに掲載しやすくなります。
ガイド「Googleクローラーとフェッチャーの概要（ユーザーエージェント）」の概要と読者
Google検索セントラルには、Googleクローラーの種類のほか、クローラーの制御方法やフェッチャーの利用について説明するガイドが用意されています。
参考（外部）：Googleクローラーとフェッチャーの概要（ユーザー エージェント）
ちなみに、フェッチャーとは、サイト所有者がクローラーを呼び込むためにリクエストする機能を有するツールのことです。さらに、本項目で出現するユーザートリガーフェッチャーとは、リクエストによって動くクローラーを指します。
本ガイドを読むべき職種
本ガイドを読むと、Googleクローラーの種類や指示の出し方がわかります。そのため、次のような職種の担当者が読むべきです。
- WEBディレクター
- WEBエンジニア
WEBディレクターが本ガイドを読んで把握しておくべきことは、クローラーの種類です。どのような種類のクローラーが存在するのかを把握することで、自社サイトに適切なクローラー管理の方法が判断しやすくなります。
一方、WEBエンジニアは、robots.txtを作成して、クローラー制御の手段を自社サイトに実装する役割を担います。つまり、本ガイドを読んで、実装作業にともなうテクニカルな知識を把握する必要があるということです。
このほか、自社サイトのクロール状況を分析するためには、クローラーの種類を知っておく必要があります。そのため、WEBアナリストも目を通してください。
ガイド「Googleクローラーとフェッチャーの概要（ユーザーエージェント）」の読み方
本ガイドは、次の見出し（項目）で構成されています。
- 一般的なクローラー
- 特殊なケース用のクローラー
- ユーザートリガーフェッチャー
- ユーザーエージェントのChrome/W.X.Y.Zに関する注意
- txt内のユーザーエージェント
- クロール速度の制御
- 廃止されたGoogleクローラー
このうち、「廃止されたGoogleクローラー」は、サービス終了していて、現在のGoogle検索エンジンに適用されていないクローラーの種類です。あくまでも予備知識として、興味があれば読んでください。
ガイド項目「一般的なクローラー」の解説
ガイド項目「一般的なクローラー」では、Google検索エンジンのほか、その他のサービスの専用のクローラーの種類を一覧でまとめた情報が掲載されています。
この情報のうち、Googlebotの名を冠したクローラーは、Google検索エンジンにページをインデックスするためのものです。
また、合わせて、robots.txtの記述に必要なユーザーエージェントトークンと完全なユーザーエージェント文字列が紹介されています。
ガイド項目「特殊なケース用のクローラー」の解説
ガイド項目「特殊なケース用のクローラー」では、主にWEB広告情報などを収集するためのクローラーの種類が掲載されています。
本項目によると、一般的なクローラーと異なる点として、次の2点を挙げています。
- クロール条件として、WEBサイトとサービス（広告主など）間で合意が必要
- 合意されている場合、txt内のユーザーエージェント情報を無視する
本項目で紹介されている情報としては、ガイド項目「一般的なクローラー」と同様に、robots.txtの記述に必要な情報が載っています。
ガイド項目「ユーザートリガーフェッチャー」の解説
ガイド項目「ユーザートリガーフェッチャー」では、ユーザートリガーフェッチャーの種類がまとめられています。
ユーザートリガーフェッチャーとは、ユーザーのリクエストに応じて起動するクローラーのことです。そして、ユーザートリガーフェッチャーに該当するクローラーは、robots.txt内の指示を無視するとのことです。本項目では、次の4つのユーザートリガーフェッチャーがユーザーエージェント文字列やトークンとともに紹介されています。
- Feedfetcher
- Googleパブリッシャーセンター
- Google Read Aloud
- Google Site Verifier
なお、ユーザーエージェントとは、ユーザーが利用するOS、ブラウザといった情報を表現する特殊な文字列を指します。そして、ここでは、それぞれのクローラーを管理するコンピューターのユーザーエージェントが記載されています。
ガイド項目「ユーザーエージェントのChrome/W.X.Y.Zに関する注意」の解説
ガイド項目「ユーザーエージェントのChrome/W.X.Y.Zに関する注意」では、ユーザーエージェント文字列に対する注意事項が紹介されています。本項目は、「ユーザートリガーフェッチャー」の補足として設けられています。
ガイド項目「robots.txt内のユーザーエージェント」の解説
ガイド項目「robots.txt内のユーザーエージェント」では、クローラーのユーザーエージェントに関するrobots.txtの記述方法が紹介されています。具体的には、下記3つのクローラーの挙動やユーザーエージェントの書き方がコード事例として載っています。
- Googlebot
- Googlebot-Image
- Mediapartners-Google
ガイド項目「クロール速度の制御」の解説
ガイド項目「クロール速度の制御」では、クロール頻度をコントロールする方法が紹介されています。ただし、主に、自社サイトに対するクロールが多すぎるケースを対象としています。
それによると、Googleクローラーのアルゴリズムには、クロールレートと呼ばれる基準が設けられているとのことです。このクロールレートを下げる具体的な方法は、別ページで説明されています。
参考（外部）：Googlebotのクロールレートを下げる
なお、東京SEOメーカー（本サイト）でもクロールの制御に関して解説する記事を用意していますので参考にしてください。
関連記事：Googleのクロールを制御する方法とは？代表的なクローラーも解説
ガイド項目「廃止されたGoogleクローラー」の解説
ガイド項目「廃止されたGoogleクローラー」では、過去に利用されていたものの、現在は廃止されているGoogleクローラーの種類がまとめられています。すべて廃止されたクローラーですので、参考までにチェックしてください。
ガイド「Googleクローラーとフェッチャーの概要（ユーザーエージェント）」の活用方法
本ガイドは、クローラー対策時に活用できます。本ガイドの内容を理解したうえで、次のフローでクローラー対策の実務を進めてください。
- Googleクローラーに課したいルールやリクエストすることを決める
- robots.txtに指示を記述する
- フィッチャーでクローラーの動きをコントロールする
1.Googleクローラーに課したいルールやリクエストすることを決める
まず、自社サイトの特性に合わせて、Googleクローラーに課すべきルールや出すべきリクエストを決めてください。ルール付けに関しては、次のような指示が挙げられます。
- Googleクローラーのクロールを許可するが、画像データのクロールは許可しない
- 自社サイト内の特定ディレクトリのみクロールを許可しない
一方、リクエストにおいては、次のような目的が挙げられます。
- Googleニュースに自社ページを掲載したい
- Googleサーチコンソールの所有者を確認したい
2.robots.txtに指示を記述する
Googleクローラーに課したいルールをrobots.txtに記述してください。具体的な記述法に関しては、別ガイド「robots.txtの書き方、設定と送信」を参考のうえで、本ガイドで記述に必要なユーザーエージェント文字列やトークンを確認してください。
たとえば、「Googleクローラーのクロールを許可するが、画像データのクロールは許可しない」ケースでは、robots.txtに次の記述が必要とわかります。
User-agent: Googlebot Disallow: User-agent: Googlebot-Image Disallow: /images
3.フィッチャーでクローラーの動きをコントロールする
目的によっては、フェッチャーを利用してクローラーに指示を出す必要があります。
たとえば、「Googleサーチコンソールの所有者を確認したい」ケースでは、Googleサーチコンソールを用いて、所有者確認のリクエストを申請します。すると、Google Site Verifierと呼ばれる専用のクローラーが自社サイトをクロールして、所有者確認のための設定が正しいかチェックします。
フェッチャーでできることに関しては、ガイド項目「ユーザートリガーフェッチャー」を参考にしてください。
Googleクローラーとフェッチャーのよくある質問
ここでは、Googleクローラーとフェッチャーに関する、よくある質問をまとめています。
Q:Googleクローラーとはなんですか？
Answer）Google社が開発したクローラーのことです。そもそも、クローラーとは、WEB上のサイトやページの情報を収集するためのロボットのことです。そして、Googleクローラーは、同社が提供する検索エンジンやGoogleアドセンスなどのサービスを運用するうえで利用されています。
関連記事：クローラーとは？仕組みや検索結果にSEO上位表示させる方法を解説
Q:Googleクローラーの種類は？
Answer）本ガイドでは、Googleクローラーの種類に関して、一般的なクローラー、特殊なクローラー、ユーザートリガーフェッチャーの3つに大別しています。このうち、もっとも代表的なGooglebotは、一般的なクローラーに所属しています。
Q:フェッチャーとはなんですか？
Answer）Google社がいうところのフェッチャーには2つの意味合いがあります。1つめは、クローラーにリクエストを出すためのツールのことです。もう1つは、ユーザートリガーフェッチャーと呼ばれるクローラーを指します。
まとめ
Google検索セントラル上に、Googleクローラーとフェッチャーに関するガイドが用意されています。本ガイドでは、Googleクローラーの種類やrobots.txtに記述するうえで必要な情報が掲載されています。そのため、WEBディレクターやエンジニアなど、自社サイト運用の関係者にとって重宝するガイドとなっています。クローラーのユーザーエージェント情報を確認できますので、クローラー対策時に本ガイドを参考にしてください。
この記事の監修者
日本大学法学部卒業、広告代理店で12年間働いている間、SEOと出会い、SEO草創期からSEO研究を始める。SEOを独学で研究し100以上のサイトで実験と検証を繰り返しました。そのノウハウを元に起業し現在、11期目。営業、SEOコンサル、WEB解析（Googleアナリティクス個人認定資格GAIQ保持）コーディング、サイト制作となんでもこなす。会社としては今まで2000以上のサイトのSEO対策を手掛けてきました。
