クロールバジェットはクロールの頻度や上限値を意味し、Webサイトによってクロールバジェットに違いがあります。そのためクロールバジェットを最適化することで、クロールの効率を高めることが可能です。

そこで本記事では、クロールバジェットの重要性から最適化する4つの対策方法を解説していきます。

クロールバジェットとは？　

クロールバジェットとは、GoogleのクローラーであるGooglebotが、クローリングする際の上限値や許容量のことをいいます。

インターネット上には膨大な数のWebサイトがあるため、クローラーはさまざまな評価要素から各Webサイトにおけるクロールバジェットを定めています。ここでは、クロールの仕組みからクロールバジェットの評価要素について詳しく解説していきます。

クロールの仕組み

クロールとは、検索エンジンのクローラーと呼ばれるロボットがインターネット上を巡回し、Webサイトの情報収集を行うことをいいます。

ユーザーの検索結果に表示されるためには、自分のWebサイトをクロールされ、検索エンジン上に登録するインデックスが必要です。またクローラーは、クロールする上で以下の項目を確認しています。

クロールにおける情報収集の項目例

Webサイトを運営する上では、インデックスを確実にされなければいけません。そのため、クローラーが効率的にWebサイトから情報収集が行えるような、クロールの最適化も重要な要素となります。

関連記事: Googleのクローラー

クロールバジェットの評価要素

クロールバジェットを決める明確な評価基準については発表されていません。ただクロールを行う際の上限に関しては、Google公式サイトの「大規模なサイト所有者向けのクロールの割り当て管理ガイド 」で解説しています。

クロールの上限値を決める要素について紹介します。

サイトがクロールに対する反応

日々、クロールに対いて迅速な応答ができているWebサイトに関しては、クロールの上限や頻度が上がります。逆に、クロールに対する応答が遅い場合やクロールエラーが発生している場合には、クロールの上限や頻度が下がります。

GoogleSearch Consoleの設定

クロールのの頻度はGoogleSearch Consoleから設定することができます。ただし、基本的には頻度を減らすことへの対応となり、頻度の向上がすぐに可能なわけではありません。

クロールの上限値を高めるには、まずクロールに対してスムーズな応答ができるWebサイト構築を目指しましょう。

クロールバジェットの重要性 

クロールバジェットは、大規模なWebサイトでなければ影響することはないとGoogleが発表しています。

そのため、クロールバジェットと関係のないWebサイトの場合、専門的な対策よりも基礎的な対策を重要視することをおすすめします。ここでは、クロールバジェットの重要性について詳しく解説していきます。

クロールバジェットが影響をするサイト

クロールバジェットが影響する対象については、Google公式サイト上で大規模なWebサイトであるか、更新頻度が多いWebサイトであると公表しています。

対象となるWebサイト例

上記に該当するのは、商品数の多いECサイトや更新頻度の多い情報発信サイトなどのWebサイトです。

そのため、一般的なWebサイトやブログであれば、クロールバジェットの上限数や頻度についてはそこまで意識しなくても問題ありません。

クロールバジェットに対するGoogleの見解

クロールバジェットはGoogleが正式に公表している用語ではありません。

昨今、「クロール バジェット（クロールの割り当て）」についてさまざまな定義を耳にします。しかし、外部的に「クロール バジェット」と言われているものを一言で説明できるような言葉はGoogle内部にはありません。

引用：Google「Googlebot のクロール バジェットとは？」

現状クロールバジェットの意味に値する言葉もないため、インターネット上では一般的にクロールバジェットのまま使われています。ただ、クロールの上限数や許容量は存在し、悪影響となる要素についても言及しております。

クロールバジェットに悪影響となる要素

上記のような要素を含んでいる場合はクロールに悪影響を及ぼし、Webサイト全体の評価を下げる可能性もあるため注意しましょう。

クロールバジェットを最適化する4つの対策

クロールバジェットを意識すべきなのは大規模なサイトですが、一般的なWebサイトやブログであってもクロールを最適化することは大切です。

ここでは、クロールバジェットを最適化する次の4つの対策について詳しく解説していきます。

不必要なページのクロールをブロック

Webサイト上の全ページをインデックスしているとクロールに負荷がかかってしまうため、必要ではないページはクロールをブロックすることも大切です。

Webサイトを運営をする上では、SEOで上位表示させるためにも多くのページをインデックスし、コンテンツの量を増やそうと考えるのは間違ってはいません。しかし、全ページがインデックスされれば良いわけでもないため、取捨選択する必要があります。

例えば、エラーコードを表示するページであればインデックスさせる必要はありません。そのため、不要なページはクロールを拒否する設定を行いましょう。

クロールを拒否するには、robots.txt か URL パラメータツールの使用が推奨されています。インデックスの調整を行うことで、クロールの効率化を目指しましょう。

リダイレクトチェーンを避ける

リダイレクトチェーンとは、URLからURLへ転送させるリダイレクトが複数回繰り返されている状態のことです。

リダイレクトチェーンが起こっていると、クロールに負荷がかかるだけではなくユーザーにとっても悪影響を与えてしまいます。実際にユーザーの立場で考えると、何度もページを飛んで時間がかかるWebサイトよりも、1度で目標のページにアクセスできる方が閲覧するには快適です。

また、不要な301リダイレクトのページを残していることも多くあります。不要なリダイレクトのページは早急に削除し、Webサイトの構造を簡潔化しましょう。

最新のサイトマップに更新する

サイトマップとは、自分のWebサイトがどのような構造なのか、どのようなコンテンツなのかについて検索エンジンに伝えるためのものです。

Googleのクローラーは定期的にサイトマップの内容を確認しているため、サイトマップを更新することで新しく追加したページや更新したページの情報を伝えることができます。

また、インデックスされるにはWebサイトにクローラーが訪れるのを待つか、自分からインデックスしてもらうように申請を行う必要があります。自分でインデックスの申請を行う上でも、URLを個別に送信するかサイトマップを送信してインデックスするかのどちらかを行わなければいけません。

サイトマップの送信であれば、Webサイトの情報をまとめて伝えることができるため、インデックスを早めたい人にもおすすめの方法です。

ページの読み込み速度を早める

クロールバジェットは、読み込み速度に応じて一度で行える上限値が変わります。

例えば、クロールに対するWebサイトの反応が遅いようであれば、見切りをつけてクロールバジェットの上限値が低くなります。逆に、クロールに対するWebサイトの反応が早ければ多くのクロールが可能となり、結果的にクロールバジェットの上限値を高めることにつながります。

そのためWebサイトの反応を早めるためには、ページの読み込み速度を早めることが欠かせません。

ただ、クロールの対象としてGoogleが考えていることは質の高いコンテンツであることは注意しましょう。質の低いコンテンツの読み込み速度を早めたところでクロールバジェットに効果的な対策にはならないため、根本的なコンテンツの質が重要となります。

クロールバジェットを確認する方法

Webサイトがどの程度のクロール頻度で行われているのかは、インデックス登録されるまでの過程で判断することができます。ここでは、クロールバジェットを確認するための流れを4STEPから詳しく解説していきます。

サイトの可用性を確認

可用性とは問題が発生せずに、通常の状態を維持しながら稼働する能力です。つまり可用性が高いWebサイトであれば、Webサイト上の問題点がなく正常に稼働していることになります。仮に可用性に問題がある場合、クロールバジェットに影響を及ぼす可能性がるため早急な対応が必要です。

Webサイトの可用性については「クロールの統計情報レポート」のクロール履歴から確認できます。可用性の問題を発見した日時が表示されるため、原因を確認し対処しましょう。

Webサイトの可用性はいつ問題が起こるか分からないため、定期的に確認することをおすすめします。

サイト内のクロール対象を確認

自分のサイト内でクロールされていないページがある場合、クロールさせたいページであるかの判断をしましょう。

自分でクロールを拒否する設定であれば特に問題はありません。しかし拒否設定をしていないにもかかわらずクロールされていなければ、対象のページに何かしらの原因があるため改善が必要です。

考えられる原因は次の3つあります。

対処するには、再度新しいサイトマップを送信しましょう。期間を空けてもクロールされないようであれば、コンテンツの質が低いことが原因かもしれません。再度、競合サイトの分析などからコンテンツ内容を考えましょう。

クロールの時間を確認

クロールバジェットの頻度を判断するには、新しく公開したページや更新したページがクロールされるまでの時間を確認することが効果的です。

通常、一般的なページがクロールされるまでには3日以上の時間がかかります。ニュースサイトや価値の高いサイトであれば、公開したその日のうちにクロールされることもありますが例外として考えましょう。

もしあまりにもクロールされる時間が長いようであれば、クローラーからWebサイトの価値が低いと認識されているか、更新を全く行っていないWebサイトであると判断されているかもしれません。

一度に複数のページを公開するよりも、定期的な更新をする方がクロール頻度の向上に効果的なため、日々の積み重ねを意識しましょう。

クロール効率を最適化する

クロールバジェットの対策で最も大切なことは、クロールの最適化を図り、クロール効率を高めることです。

クロール効率の最適化を行う方法

クロール効率の最適化に関する具体的な方法は、前述の「クロールバジェットを最適化する4つの対策」に記載があるため確認ください。

クロールバジェットに関するQ&A

ここでは「ウェブマスター向け公式ブログ」から抜粋した、クロールバジェットのよくある質問について紹介していきます。その他の質問を知りたい方は、ぜひ公式サイトもご覧ください。

クロールはランキング要素なのか？

クロールの速度や頻度に関しては、検索順位に影響はありません。そのため、クロールバジェットの上限が高いからといって、検索結果で1位になりやすいといったこともないです。

ただしクロールバジェットを最適化する対策の中にはSEO対策として有効なものもあるため、一概に全て無意味な対策とはいえません。クローラーや検索エンジンに向けた対策はSEOの内部対策の中でも重要となるため、積極的に行うことをおすすめします。

nofollowはクロールバジェットの影響があるのか？

nofollowを設定することで、リンク先ページのクロールを拒否することができます。外部リンクはSEOにおいて重要な要素となるため、無関係なWebサイトのリンクをnofollow設定することで、SEOの評価に影響を与えない効果があります。

しかし、クロールバジェットにおけるnofollowの影響は、ページの状況次第です。例えばページ内でURLをnofollow設定しても、他のページでnofollow設定されていなければクロールされる場合もあります。

そのため、nofollow設定にもかかわらずクロールされた場合は、クロールバジェットにも影響すると認識しておきましょう。

クロールバジェットは大規模なサイトや更新頻度が多いニュースサイトなどでない限り、あまり気にする必要がありません。ただ、クロールバジェットの最適化はWebサイトに良い影響を及ぼすことが多く、SEO対策の一環としておすすめできます。特にクロールの頻度はWebサイトの更新率に応じて変わるため、日々の更新を心がけましょう。