Googlebotの仕様と管理【Google検索セントラルの解説】
Google社は、Googlebotの仕様や管理方法を解説するガイドをGoogle検索セントラルにて公開しています。
参考（外部）：Googlebot
それによると、Googlebotには、スマートフォン用、パソコン用の2つのクローラーがあると言います。さらに、大半のサイトでは、モバイルページのコンテンツがインデックスされるとのことで、モバイル対策の重要性をほのめかしています。
関連記事：Googleクローラーの種類と対策、フェッチャーの利用方法【Google検索セントラルの解説】
今回は、Googlebotに関するガイドの読み方や扱い方を解説します。Googlebotの仕様を把握することで、適切なクローラー対策が可能となります。とくに、SEO対策の担当者は、本記事をチェックしてください。
Googlebotとはクローラーのこと
そもそも、Googlebotとは、Google社が開発したクローラーのことです。
Google検索エンジンは、GooglebotがWEB上のサイトを巡回して、インデックス登録を経て、最終的に検索ランキングを決定しています。自社サイトが検索結果に表示されるためには、Googlebotにクロールされる必要があります。そのため、SEO対策するうえでは、Googlebotに対する理解が不可欠です。
関連記事：Google検索エンジンの仕組みとは？上位表示されるためのポイントを解説
ガイド「Googlebot」の概要と読者
Google検索セントラルでは、Googlebotに関するガイドが用意されています。具体的には、Googlebotの巡回方法などが掲載されています。
参考（外部）：Googlebot
さらに、Googlebotのユーザーエージェント情報が掲載される下記ガイドに対するリンクが設置されています。合わせてチェックすることで、クローラー対策時に役立ちます。
参考（外部）：Googleクローラーとフェッチャーの概要（ユーザー エージェント）
なお、東京SEOメーカー（本サイト）では、上記ガイドを解説する記事を用意していますので参考にしてください。
関連記事：Googleクローラーの種類と対策、フェッチャーの利用方法【Google検索セントラルの解説】
本ガイドを読むべき職種
本ガイドを読むことで、Googlebotの詳しい仕様のほか、自社サイトに対するGooglebotの巡回をコントロールする方法がわかります。そのため、SEO対策を担当するWEBディレクターが読むべきガイドとなっています。
このほか、エンジニアがクローラー対策としてrobots.txtを自社サイトに実装する際に参考になります。
ただし、本ガイドは、Googlebotの概要的な内容となっています。現実的には、関連性が高い別ガイドと合わせて読む必要がありますので留意してください。
ガイド「Googlebot」の読み方
本ガイドは、下記の3つの見出しで構成されています。
- Googlebotがサイトにアクセスする方法
- Googlebotのサイトアクセスをブロックする
- Googlebotが本物であるか確認する
ガイド項目「Googlebotがサイトにアクセスする方法」の解説
ガイド項目「Googlebotがサイトにアクセスする方法」では、GooglebotがどのようにWEBサイトを巡回するのかについて説明しています。具体的には、本項目に目をとおすことで、次のようなことがわかります。
- Googlebotのアクセス頻度
- Googlebotを動かすサーバー情報
- Googlebotのプロトコルバージョン
- Googlebotのクロール範囲
Googlebotの仕様を把握することで、どのようにクローラー対策すべきかを判断する際の参考に利用できます。
ガイド項目「Googlebotのサイトアクセスをブロックする」の解説
ガイド項目「Googlebotのサイトアクセスをブロックする」では、自社サイトに対するGooglebotのアクセスをブロックする方法が記載されています。本項目では、目的別に、下記の3つの手段を提示しています。
| 目的 | 手段 |
|---|---|
| クロールをブロックしたいとき | robots.txtを利用する |
| インデックスさせたくないとき | noindexを利用する |
| クロールとユーザーをブロックしたいとき | パスワード保護などを利用する |
つまり、単純にGooglebotのクロールをブロックしたいときは、robots.txtファイルを利用する方法が適切ということです。また、コンテンツブロックに関する詳しい情報は、別ガイドで紹介されています。
参考（外部）：Googleと共有するコンテンツを制限する
ガイド項目「Googlebotが本物であるか確認する」の解説
ガイド項目「Googlebotが本物であるか確認する」では、Googlebotが本物かなりすましかを見極める方法を説明しています。
本ガイドによると、Googlebotのアクセスになりすますことが多々あると言います。そこで、下記の手法で、Googlebotの真偽を見極めるために送信元IPを調べることを推奨しています。具体的には、次の2つの方法を紹介しています。
- コマンドラインツールを用いて、リバースDNSルックアップを実施する
- GoogleクローラーのIPアドレスと照らし合わせる
それぞれの詳しいやり方は、下記リンク先の別ガイドに載っています。
参考（外部）：クローラーがGooglebotなどのGoogleクローラーであることを確認する
ガイド「Googlebot」の活用方法
本ガイドでは、Googlebotに関する基本情報が掲載されています。自社サイトやページを検索結果に載せたいときなどに、本ガイドの情報を活用できます。
ただし、本ガイドは、あくまでもGooglebotの概要を解説するものです。自社サイトの課題を解決するための一助となるガイドではありますが、別ガイドとあわせて課題解説に挑む必要があります。具体的には、次のようなフローを踏むことになります。
- クロールやインデックス対策を練る
- 別ガイドを参考にして、目的に合わせてアクセスブロックを実装する
1.クロールやインデックス対策を練る
WEBサイトでSEO対策する場合は、クロールやインデックス対策を練ることになります。
とくに、クロール対策は、自社サイトを検索結果に表示させるための最初のアプローチに位置付けられます。そこで、現在の自社サイトの課題に合わせて、具体的なクロール対策を練っていきます。クロールに関する課題としては、次のようなものが挙げられます。
- 自社サイトのページがクロールされない
- 自社サイトのページを非公開にしたい
2.別ガイドを参考にして、目的に合わせてアクセスブロックを実装する
本ガイドのほか、別ガイドも参考にして、自社サイトの課題解決を試みてください。
たとえば、自社サイトのデバッグ用のテストサイトを運用することになったとします。そして、一般的にテストサイトは社外秘のコンテンツですので、すべての部外者のアクセスをブロックすべきです。そこで、本ガイド項目「Googlebotのサイトアクセスをブロックする」を読んでみると、下記ケースに該当することがわかります。
- クローラーとユーザーによるページへのアクセスを完全にブロックする場合は パスワード保護などの他の方法を使用してください。
引用：Googlebot
さらに、アクセスブロックと関連性が高い別ガイドを読んでいきます。
参考（外部）：Googleと共有するコンテンツを制限する
すると、HTMLファイルなどのコンテンツファイルに対してパスワード設定することで、一般ユーザー、Googlebotの両方をブロックできることが判明します。
Googlebotのよくある質問
Googlebotに関する、よくある質問をまとめています。
Q:Googlebotとはなんですか？
Answer）Googlebotとは、Google社が運用するクローラーのことです。Googlebotは、Google検索エンジンの検索結果に掲載するページを決めるために、世界中のWEBサイトを巡回して情報を集めています。さらに、Googlebbotは、役割に応じて下記のような種類のものがあります。
- スマートフォン用Googlebot
- パソコン用Googlebot
- 画像用Googlebot
参考（外部）：Googleクローラーとフェッチャーの概要（ユーザー エージェント）
Q:Googlebotに自社サイトをクロールして欲しいときの対処方法は？
Answer）自社サイトをクロールして欲しいときは、Google Search Console（Googleサーチコンソール）を利用する方法があります。具体的には、下記の2つの手法が挙げられます。
- XMLサイトマップを送信する
- URL検査でリクエストを送信する
前者のXMLサイトマップとは、自社サイトのページ情報をまとめたファイルのことです。XMLサイトマップを作成して、GoogleサーチコンソールでGoogle社に送信できます。すると、Googleクローラーに自社サイトやページの存在を認知させられます。
後者のURL検査とは、指定したURLページに対するクロールをリクエストするためのツールのことです。本ツールは、Googleサーチコンソールの機能の1つとなっています。ただし、無闇にリクエストを送信しても効果をえられませんので注意してください。
まとめ
Google検索セントラルには、Googlebotに関するガイドが掲載されています。本ガイドは、Googlebotの仕様や管理方法を解説する内容となっています。そのため、クローラー対策を検討するうえで役立ちます。具体的には、SEOコンサルティングを担当するWEBディレクターやエンジニアが読んでおくべきです。ただし、本ガイドは、Googlebotの概要的に説明するものですので、実務面で活用するためには、別ガイドと合わせて読む必要があります。
この記事の監修者
日本大学法学部卒業、広告代理店で12年間働いている間、SEOと出会い、SEO草創期からSEO研究を始める。SEOを独学で研究し100以上のサイトで実験と検証を繰り返しました。そのノウハウを元に起業し現在、11期目。営業、SEOコンサル、WEB解析（Googleアナリティクス個人認定資格GAIQ保持）コーディング、サイト制作となんでもこなす。会社としては今まで2000以上のサイトのSEO対策を手掛けてきました。
