クロールバジェットの管理（大手サイト用）【Google検索セントラルの解説】
Google社は、クロールバジェットの管理に関するガイドをGoogle検索セントラルにて公開しています。
参考（外部）：大規模なサイト所有者向けのクロールバジェット管理ガイド
本ガイドによると、WEBサイトを更新したにもかかわらず、新規や更新ページがクロールされるまでに時間がかかる場合は、サイトが問題を抱えている可能性があると述べられています。本ガイドでは、大規模なサイトで、かつ、毎日のように更新しているにもかかわらず、クロールに長期間かかるケースの対処方法を説明しています。具体的には、自社サイトに対するクロールバジェット（Crawl Budget）を最適化して、クロール頻度を高める方法を紹介しています。
関連記事：クローラーの管理【Google検索セントラルの解説】
Google検索セントラルで公開されている、クロールバジェット管理のガイドについて解説します。クロール頻度に課題を抱えるサイトのオーナーは、本記事をチェックしてください。
更新頻度が高いサイトでは、効率的なクロールが重要
検索トラフィックを効率的に集めるためには、Google検索エンジンにいちはやく掲載されることが重要です。そのためにも、自社サイトのページが効率的にクロールされる必要があります。
一般的に、価値が高く、かつ、検索エンジンにインデックスされていない記事や情報は、検索ユーザーに求められます。とくに、速報性が求められる記事では、いちはやく検索ユーザーに届けるべきページが検索エンジンに反映されるまでに時間がかかると、サイトとしての役割を果たせないことになりかねません。
でき得るだけはやく、記事を読者に読んでもらいたいにもかかわらず、当日にインデックスされないといった課題を抱えるサイトが多々あります。こうしたケースでは、SEO対策の一環として、クロールを最適化することが大切です。
ガイド「大規模なサイト所有者向けのクロールバジェット管理ガイド」の概要と読者
Google検索セントラルには、クロールバジェット管理についてのガイドが用意されています。そして、本ガイドは、規模が大きくて更新頻度が高いサイトを対象としています。
参考（外部）：大規模なサイト所有者向けのクロールバジェット管理ガイド
具体的には、クローラーの性能を紹介したうえで、検索エンジンのクロールを最適化する方法を説明しています。このほか、自社サイトにおける、クロールとインデックスを監視するテクニックが載っています。
本ガイドを読むべき職種
本ガイドを読むことで、いちはやくクロールされるために、自社サイトをどのように運用すべきかがわかります。そのため、次のような職種の人が読むべきガイドとなっています。
- WEBディレクター
- WEBアナリスト
- WEBエンジニア
本ガイドは、主に、クローラーの性能に合わせたサイトの運用や改修する際に役立ちます。このうち、WEBディレクターは、自社サイトの課題抽出の役割を担います。そして、WEBアナリストは、自社サイトのクロールやインデックス状況を分析して改善策を練ります。こうした流れを受けて、WEBエンジニアが自社サイトをクローラーに最適化すべく実装作業をします。
また、本ガイドによると、想定読者を上級者としたうえで、次のようなサイトオーナーを読者ターゲットにしているとのことです。
- 大規模（重複のないページが100万以上）で、コンテンツが中程度に（1週間に1回）更新されるサイト
- 中規模以上（重複のないページが1万以上）で、コンテンツがかなり頻繁に（毎日）更新されるサイト
- Search ConsoleでURLの大部分が検出-インデックス未登録に分類されるサイト
引用：大規模なサイト所有者向けのクロールバジェット管理ガイド
ガイド「大規模なサイト所有者向けのクロールバジェット管理ガイド」の読み方
本ガイドは、下記の見出しから構成されています。
- クロールの一般理論
- おすすめの方法
- サイトのクロールとインデックス登録のモニタリング
- クロールに関する誤解と事実
引用：大規模なサイト所有者向けのクロールバジェット管理ガイド
ガイド項目「クロールの一般理論」
ガイド項目「クロールの一般理論」では、Google検索エンジンにおけるクロールの能力やスペックについて説明されています。
それによると、WEBは無限ともいえる空間となるので、Googlebotが割ける時間、リソースに限りがあるといいます。つまり、WEBサイトのオーナーは、Googlebotがクロールできるページ数には限界があることを把握したうえで、クロールが必要なページとそうでないページを整理して検索エンジンに伝えることが大切ということです。
また、本項目では、Googlebotは、人気コンテンツに対してクロールのリソースを多めに割くことから、コンテンツの価値を高めることがクロールバジェットの増加につながると述べています。
ガイド項目「おすすめの方法」
ガイド項目「おすすめの方法」では、クロール効率を高める手法を紹介しています。その具体的な手法として、次の3つの方法が挙げられています。
- クロールするページ、クロールしないページをGoogle検索エンジンに指定する
- ページ読み込み時間を短縮する
- クロール時に不具合が発生していないかチェックする
本項目を読むことで、クロールの最適化をおこなうにあたり、実務作業としてすべきことを把握できます。
ガイド項目「サイトのクロールとインデックス登録のモニタリング」
ガイド項目「サイトのクロールとインデックス登録のモニタリング」では、クロールとインデックス状況の診断と対処方法を紹介しています。具体的には、下記手法に関して言及しています。
- クロール時にシステム障害が発生していないかチェックする方法
- クロールされるべきページに漏れがないかチェックする方法
- クローリングまでにかかる時間をチェックする方法
- クロール効率を高める方法
- 不要なクロールを制御する方法
こうしたことから、データ解析を担当するWEBアナリスト向けの説明内容となっています。なお、本項目では、対策方法を交えて紹介していることから、一部の説明がガイド項目「おすすめの方法」と重複しています。
ガイド項目「クロールに関する誤解と事実」
ガイド項目「クロールに関する誤解と事実」では、本ガイドで学んだ内容に対する、簡易的なテストが用意されています。2択の問題形式になっていて、設問が正しいか誤っているかを選ぶといったものです。また、チェックボックスにて回答すると、成否とともに解説文が表示されます。
ガイド「大規模なサイト所有者向けのクロールバジェット管理ガイド」の活用方法
本ガイドを活用することで、自社サイトにおけるクロールの効率化を実現できます。そのために必要な実務作業のフローは、下記のとおりです。
- ガイドを読んで、テストで知識を確認する
- 自社サイトにクロールバジェット管理が必要か判断する
- クロールやインデックス状況を解析する
- サイトの設定を改修する
1.本ガイドを読んで、テストで知識を確認する
まずは、本ガイドを読んでいきます。ただし、WEB初心者の場合、わからない専門用語も多いので、この記事の解説をよみながら理解を深めていってください。
ガイドを読み終えたら、ガイド項目「クロールに関する誤解と事実」のテスト問題に回答して、正しい知識が身についたかチェックできます。
2.自社サイトにクロールバジェット管理が必要か判断する
そもそも、クロールバジェット管理が必要なサイトには一定の条件があります。まずは、自社サイトが下記2つの条件に当てはまるかチェックしてください。
- サイト規模が大きく、毎日のように更新している
- サイト内の大半のページがインデックスされていない
また、速報性が求められるニュース記事などでは、即日インデックスされることが重要です。当日、読んでもらうべき記事が数日後に検索エンジンに掲載されたとしても、その時点では記事のニーズが大きく低下します。こうした状況下でも、クロールバジェットの管理が効果的です。
3.クロールやインデックス状況を解析する
自社サイトのクロールやインデックス状況を解析します。クロールやインデックス状況は、Google Search Console（サーチコンソール）で確認できます。
Googleサーチコンソールを使って、ガイド項目「サイトのクロールとインデックス登録のモニタリング」で紹介されている確認事項を調べていきます。
- クロールの可用性で問題が発生していないか
- クロールされるべきページで漏れがないか
- 新規ページ、更新ページがすぐにクロールされるか
クロールの可用性で問題が発生していないか
クロールの可用性の問題を発見するためには、次の作業が必要です。
- Googleサーチコンソールにアクセスしてログインする
- クロールの統計情報レポートへ移動する
- 「ホストのステータス」をクリックする
ここでは、robots.txtの取得、DNSの問題検出、サーバー接続の問題検出が発生した際に問題点が表示されます。
また、クロールエラーの発生は、下記からチェックできます。
- クロールの統計情報レポートの小見出し「クロールリクエストの詳細」中の「レスポンス別」でクロールエラーしたページをチェックする
関連記事：クロールエラーへの対処方法とは？原因や注意点を解説
クロールされるべきページで漏れがないか
クロールしたいページにもかかわらず、クロールされていないページがないかを次の手順で確認できます。
- Googleサーチコンソールにアクセスしてログインする
- メニュー「インデックス作成」→「ページ」をクリックする
- 画面をスクロールして、小見出し「ページのインデックス登録」をチェックする
クロールされていない場合、ここの表記が「検出 – インデックス未登録」となります。
また、個別のページのクロール状況を確認したい場合は、下記から調べられます。
- Googleサーチコンソールのメニュー「URL検査」にて、調べたいページURLを指定する
新規ページ、更新ページがすぐにクロールされるか
- Googleサーチコンソールにアクセスしてログインする
- クロールの統計情報レポートへ移動する
- 小見出し「クロールリクエストの詳細」中の「レスポンス別」で任意の項目をクリックする
- 更新ページのクロール日付をチェックする
4.サイトの設定を改修する
「3」で課題をみつけたら、ガイド項目「おすすめの方法」と「サイトのクロールとインデックス登録のモニタリング」を参考のうえで、それぞれの課題に効果的なサイト改修を進めてください。
アクセス解析とプログラム改修を分業している場合は、WEBディレクター、アナリスト、エンジニアなどの関係者で会議を通じ情報共有して、実務作業の方針を決めていくことになります。
クロールバジェット管理のよくある質問
クロールバジェット管理に関する、よくある質問をまとめています。
Q:クロールバジェットとはなんですか？
Answer）クロールにかかる時間とリソース（作業量）のことです。つまり、自社サイトに対するクロール頻度を高めるには、クロールバジェットを増やす施策が必要ということです。
関連記事：クロールバジェットの重要性から最適化する4つの対策方法を解説！
Q:クロールの効率を高める方法をわかりやすく教えてください
Answer）クロールバジェットの上限には、絶対量が存在します。そのため、自社サイトを効率的にクロールしてもらうことが重要です。具体的な対策は、大きく次の2つにわかれます。
- Googleの評価を高めて、クロールバジェットを増やす
- Googlebotに指示を出して、不要なクロールを減らす
まとめ
Google検索セントラルでは、クロールバジェット管理に関するガイドが公開されています。本ガイドを読むことで、自社サイトのクロール効率を高めることが可能です。ただし、毎日更新するといった大手サイトに求められる技術であり、上級者向けのガイドとなっています。読むべき担当者としては、自社サイトのWEBディレクター、アナリスト、エンジニアが挙げられます。まずは、Googlebotの仕様を把握したうえで、ガイドにならって調査し、自社サイトの改修に役立ててください。
この記事の監修者
日本大学法学部卒業、広告代理店で12年間働いている間、SEOと出会い、SEO草創期からSEO研究を始める。SEOを独学で研究し100以上のサイトで実験と検証を繰り返しました。そのノウハウを元に起業し現在、11期目。営業、SEOコンサル、WEB解析（Googleアナリティクス個人認定資格GAIQ保持）コーディング、サイト制作となんでもこなす。会社としては今まで2000以上のサイトのSEO対策を手掛けてきました。
