通常、Googleは自動的にWEBサイトをクロールするため、WEB担当者がGoogleのクロールを制御する必要はありません。しかし、更新したページの再クロールをリクエストしたいことやインフラへの負荷を下げるためにクロール頻度を下げてほしいということもある。このようなときには自分からのクロールを制御する動きが必要です。

Googleにクロールをリクエストする方法とクロール頻度を下げる方法について解説しますが、サイトマップの送信以外は日常的におこなうべき方法ではありません。特にクロール頻度を下げることによるデメリットもあるため、本当に制御すべきなのかを確認したうえで慎重な判断が必要です。

Googleに再クロールをリクエストする方法

サイトにページを追加した場合やページを更新した場合、Googleは自動的にクロールをしてくれますが、インデックスの再登録をGoogleのリクエストすることはできます。ただし、リクエストを送ってもクロールには数日から数週間かかることがあり、クロールしても検索結果には表示されないことがあります。

検索結果に出てこないのはGoogleのシステムが高品質で有用なコンテンツを優先して表示することに起因していますが、時間の経過とともに表示されるようになったり、時間をおいて再度リクエストを送ることで検索結果に表示される可能性はあります。

URL検査ツールの利用

クロールしてほしいURLが少ない場合にはGoogleサーチコンソールのURL検査ツールを使うことでインデックス登録をリクエストすることができます。ただし、URL送信には上限数が設けられているため、大量のURLを送るのには適していませんし、1回リクエストを送るたびに1分〜2分ほど待たされるため、効率的ではありません。

大量のURLのリクエストを送る場合には次のXMLサイトマップを送信する必要があります。

XMLサイトマップの送信

大量のURLのリクエストを送る場合、GoogleサーチコンソールのXMLサイトマップを送信する方法が有効です。サイトマップはGoogleがサイトのURLを把握するために重要なツールであり、サイトを立ち上げたばかりで他サイトからのリンクがない場合やサイト移転をおこなった直後などGoogleが新サイトを見つける手段がないときにのクロールに役立ちます。

ただし、サイトマップを送信したからといって必ずクロールされるわけではなく、クロールされたとしても検索結果に表示されるとは限りません。また、サイトマップを送信する場合にはクロールしてほしいすべてのURLの掲載が必要ですので、その点にも注意してください。

Googlebotのクロール頻度を下げる

Googleではサイトのクロール頻度を高度なアルゴリズムで最適化しています。1回のアクセスでサイト内のページを効率よくクロールすることでサーバーに大きな負担をかけないようになっていますが、状況によってはサイトのクロールによりサーバーに余計な負荷がかかったり、サービス停止中に無駄なコストがかかることが懸念されます。このような場合、Googleからのクロール頻度を下げることが可能です。

ただし、Googleのクロール頻度を下げてしまうと、その影響はサイト全体に及びます。結果的に、サイト内の検出できるページが減少したり、ページの更新が検知できなくなる可能性があります。また、削除済みのページが長期間インデックスに残り続けるという弊害が起きることも考えられますので、クロール頻度を下げるかどうかは慎重に検討してください。

Google botのクロール頻度を下げるには、次のような方法があります。

※通常、Googleのクロール頻度を下げる必要はありません。SEOの観点ではクロール頻度を上げ、検索結果に表示されるページ数を増やすことを考えるべきですが、例外的にクロール頻度を下げたいという状況の対処法です。恒常的に使うべきものではありませんのでご注意ください。

Googleサーチコンソールの設定でクロール頻度を下げる

Googleサーチコンソールの設定で「Googleの最大クロール頻度を制御する」を選択することでクロール頻度を下げることができます。ただし、この機能は2024年1月8日に廃止になりますので、日常的な管理をする場合にはクロール頻度を下げる必要はありません。

詳細はSearch Console のクロール頻度制限ツールのサポート終了予定に記載がありますが、クロール頻度の自動調整処理が進歩したこととステータスコードによっては自動的にクロール頻度が下がるためです。

ただし、緊急でクロール頻度を下げたい場合には、WEBサイトのログやクロールの統計情報レポートを使って、サイトに対するクロール頻度が多すぎるGoogleクローラを特定し、robots.txtでGoogle botやAdsBotのようなエージェントをブロックしてください。

ステータスコードを利用してクロール頻度を下げる

数時間や数日の期間限定でクロール頻度を下げる必要がある場合、コンテンツの代わりに500、503、429のようなHTTPステータスコードを返すようにしてください。Google botはこのようなステータスコードを読み込むと自動的にクロール頻度を下げるようになっています。

ただし、ステータスコードで500、503、429を返す場合、WEBサイト全体のクロールに影響するため、長期間ステータスコードを変更したことによってGoogleのインデックスからページが削除されてしまう可能性があります。エラー件数が減るとクロール頻度は自動的に回復しますが、一度インデックスから削除されてしまったページは再クロールされるまで検索結果に出ることはありませんのでご注意ください。

参考：代表的なクローラー一覧

クローラーがGoogle botであることの確認方法

Google botと称したスパムからのアクセスなのかどうかを確認する方法は2つあります。通常はコマンドラインツールを使って確認できますが、大量の照合が必要な場合には自動ソリューションを使って公開されているGoogle botのIPアドレスリストとクローラーのIPアドレスを照合する必要があります。

コマンドラインツールを使用する方法

ただし、Windows標準のコマンドプロンプトではhostコマンドは使えません。コマンドラインツールは技術者やサーバー管理担当が使うものですので、WEB担当者ではなくサーバー管理担当者に照合を依頼するほうがトラブルが防げます。

自動ソリューションを使用する

クローラーのIPアドレスを、次のGoogleクローラーおよびフェッチャーのIP アドレス範囲のリストと照合し、IPアドレスでGooglebotを識別することもできます。

このリストにないIPアドレスを使用してGoogleがサイトにアクセスする場合がありますが、その場合はアクセスに使用されているIPアドレスを通常のGoogleのIPアドレスのリストと照合してください。

まとめ

クロールのリクエストでは、URL検査ツールとXMLサイトマップによるクロールリクエストを挙げましたが、どちらも日常的に利用する機能ではありません。新規でサイトがオープンした場合やサイト移転をおこなった場合のように外部からのリンクが確保できておらず、クロールを促したい場合に利用する機能です。しかし、現実にはコンテンツを更新した際にいつまでも検索結果に表示されないという問題は起きますので、URL検査ツールによるリクエストはおこなわれることがあります。Googleはクロールをしたとしても必ずしもインデックス登録するわけではなく、原則的にはコンテンツの品質や有用性を総合的に判断してインデックス登録をおこなっています。クロールを制御することによるデメリットもある以上は、最初に確認すべきはコンテンツであり、コンテンツに問題がないと判断できた場合に限りリクエスト送信をすることを検討してください。また、クロール頻度の制御は場合によってはサイト全体のインデックス減少にも繋がるリスクがあります。緊急でHTTPステータスコードを操作することはありえますが、数時間ではなく数日のような長期間のクロール頻度を下げたい場合には別の方法を考えるようにしてください。

SEOとWEBマーケティングの東京SEOメーカーTOPへ戻る

この記事の監修者

アドマノ株式会社　代表取締役　天野　剛志

日本大学法学部卒業、広告代理店で12年間働いている間、SEOと出会い、SEO草創期からSEO研究を始める。SEOを独学で研究し100以上のサイトで実験と検証を繰り返しました。そのノウハウを元に起業し現在、11期目。営業、SEOコンサル、WEB解析（Googleアナリティクス個人認定資格GAIQ保持）コーディング、サイト制作となんでもこなす。会社としては今まで2000以上のサイトのSEO対策を手掛けてきました。