クロールエラーへの対処方法とは？原因や注意点を解説
Googleのクローラーが正常に回ることは、SEOにプラスとなります。そのため、クロールエラーが出ているとクローラーがサイトを回っているが正常に巡回できていないことになるため、SEOにマイナスに影響しないためにも早急に対応しなければなりません。
そこで今回は、クロールエラーの原因とその対処方法や注意点について解説します。
クロールエラーとは
クロールエラーとは、Googleのサイト巡回ロボットであるクローラーが正常にサイト巡回できなかったときに発生するエラーのことを指します。クロールエラーを確認するには、Google Search Consoleを使用して確認する必要があります。
問題があるとクロールエラー画面に反映されるため、どのような問題がありどのように対処しなければいけないのかを明確にできます。特にサイト内の重要なページでクロールエラーが出ている場合は、早急に対応する必要があるので定期的にクロールエラーが出ていないかを確認する必要があります。
クロールエラーになるとSEOにマイナスになる
そもそもクローリングとは、サイト内のリンクをクローラーがたどり、Webサイトの情報を収集することを指します。Googleはクローリングで収集した情報をもとに、検索ニーズを満たしていると判断した情報から順に検索結果に表示させます。
そのため、クローリングをしてもらえなければGoogleから評価されないことになります。サイトをクロールしてもらいページの内容をGoogleに正しく伝えることは、SEOにもプラスになるのです。そのため、クロールエラーが出ているとサイトへの評価が向上しにくくなりSEOにもマイナスとなります。
クロールエラーが発生する原因
クロールエラーが発生する原因には主に次の2つがあります。
- リンク切れ
- ステータスエラー
クロールエラーが発生する理由のほとんどがこの2つとなるため、クロールエラーが出たときにも焦らずに対処できるよう、しっかりとクロールエラーが出る原因を理解しておきましょう。
リンク切れ
リンク切れは、リンクの貼り間違いや入力ミスによりリンクの遷移先にアクセスできないことを言います。リンク切れが起きているページをクローラーは存在しないページと認識し、クロールエラーとなります。リンクのURLが1文字抜けていたり、スラッシュが1本足りないだけでもリンク切れとなります。
また、リンク先のページが削除されている場合にもリンク切れとなります。作成時には有効なリンクでも、その後リンク先のWebページが何らかの理由で削除され、その結果としてリンク切れが起きるパターンはよくあります。
ステータスエラー
ステータスエラーは、閲覧できないURLで表示されるエラーのことを言います。閲覧できないURLにはクローラーも巡回ができず、クロールエラーとなります。
ステータスエラーのページには、ステータスコードが表示されます。ステータスコードは、HTMLを表示する前にブラウザが受信する3桁の番号で各数値ごとに意味が付与されています。この3桁の数値を受信して、ブラウザは正しい処理ができるようになります。
ステータスコードとは
ステータスエラーとなるステータスコードには主に次の4つがあります。
- 403エラー
- 404エラー
- ソフト404エラー
- 503エラー
ページが正常に表示されている際のステータスコードは200となりますが、ここではステータスエラーとなるステータスコードの意味を解説していきます。
403エラー
403エラーはサーバーからのアクセス拒否を受けている状態で、閲覧権限が無いファイルやフォルダにアクセスした際に表示されるコードです。
意図したユーザーにのみ見せたいページでは、ファイルの許可や.htaccessなどでアクセスできるユーザーをシステムで限定します。403エラーが表示されるページは、意図してクロールを許可しない限りクロール及びインデックスはされません。
404エラー
404エラー、Webページが見つからないときに表示されるコードです。URLスペルが間違っている、リンク切れが起きている、リダイレクトの設定が間違っているなどのURLに関係する場合に404エラーとなります。
内部リンクだけではなく、外部サイトから貼られた被リンクのURLに誤りがある場合にも404エラーは表示されます。また、4040エラーが表示されるページ情報はインデックスされません。
ソフト404エラー
ソフト404エラーとは、本来ステータスコード404を送信すべきところに200を送信し、ブラウザ上ではページが見つからないなどの404に類するページが表示されている状態のことを言います。サイト内検索の検索結果ページで、検索結果が0件の場合にステータスコードが200になっている際にも検出される事があります。
ソフト404と判定されたページはインデックスされませんが、「送信された URL はソフト 404 エラーのようです」または「除外: ソフト 404」と表示された場合、クローラーはこれをページと認識するため無駄なクロールが行われてしまうこととなります。
503エラー
503エラーは、サーバーがサービス利用不可の状態であることを示すコードです。一時的にサーバにアクセスできず、サービスが利用不可能になっている場合に表示されるエラーです。
一時的にWebアクセスが集中している、CGIプログラムが誤作動を起こしているなどが503エラーが表示される原因として考えられます。503エラーでは、Googleはもとあったページの情報を新たにインデックスすることはできません。
Google Search Consoleを使ったクロールエラーの確認方法
Googleがサイト内に問題を発見すると、Search Consoleに表示されるようになります。そのため、クロールエラーを確認するためにはSearch Consoleへの登録が必須となります。インデックスやクロールに関するエラーが出ている場合、解消しなければページはGoogleに評価されず検索順位に悪影響となるため、定期的にSearch Consoleでクロールエラーが出ていないかを確認する必要があります。
エラーの有無は、Search Consoleのメニュー「インデックス」→「カバレッジ」で確認できます。画面右上の「最終更新日」時点のクロール結果が表示されます。エラーが1件以上ある場合は、画面下部の「詳細」からエラーの理由を確認します。
>>GoogleSearchConsole（グーグルサーチコンソール）とは？導入方法と使い方
クロールエラーの種類と対処方法
クロールエラーの種類には主に、サイトエラーとURLエラーの2種類があります。種類によってエラーが発生する原因が異なるため、それぞれの原因やエラーに合わせた対処方法をする必要があります。では早速、クロールエラーの種類と対処方法を見ていきましょう。7つのエラーをご紹介します。
- サイトエラー
- DNSエラー
- サーバーエラー
- robots.txtエラー
- URLエラー/ソフト404エラー
- アクセス拒否
- 404エラー
サイトエラー
サイトエラーは、クローラーがサイトに全くアクセスできない状態のことを指します。サイトエラーが出ている場合は、設定ミスや大規模なエラーなどを確認する必要があります。
DNSエラー
DNSエラーは、DNSサーバーの停止やDNSルーティングの問題が発生した場合に見られるエラーで、クローラーがDNSサーバーと通信ができない状態になっている際に表示されます。
サイトにアクセスするときは、サイトにアクセスする為のhttpのアドレスとIPアドレスとを関連付けてサーバーからサイトにアクセスしまが、このときにふたつを関連付けできないとDNSエラーとして表示されてしまいます。
【DNSエラーの対処方法】
DNSエラー表示の原因は、パソコン側にあることがほとんどでパソコンの設定や、接続を確認するとエラー表示が消えることもあるので、まずはパソコン周辺を確認してみましょう。Fetch as Googleで接続状況の確認を行ない、エラー原因を探り改善を進めていく必要があります。
サーバーエラー
サーバーエラーは、サーバーとの接続状況が関連して発生するエラーです。サーバーエラーが起こるケースには次のようなものが挙げられます。
- リクエストの待機中にサーバーがタイムアウトしてしまった
- サーバーとの接続が中断され、コンテンツが返されていない
- Google側で応答を受信する前にサーバーが接続を切断してしまった
- サーバーによる接続拒否
【サーバーエラーの対処方法】
サーバーエラーは、サーバーへの負荷が大きい場合や設定が誤っている場合などに発生するため、ホスティング サーバーの停止、過負荷、設定ミスがないかどうかを確認することで対処できます。まずは、Googleのクローラーを誤ってブロックしていないかどうかなどを確認してみましょう。
robots.txtエラー
robots.txtエラーは、クローラーがrobots.txtへアクセスしようとしているが、200や404のエラーが返されておらず、アクセスができない状態のときに起こるエラーです。robots.txtはクローリングをしてもらう必要がないURLを巡回しないように制御できるため、このエラーが出ている場合は、robots.txtによって対象のページがクロールできないようになっている可能性があります。
【robots.txtエラーの対処方法】
robots.txtエラーは、クロールが延期されている状態でありアクセスできない原因を解決する必要があります。全てのページへのクロールが必要であればrobots.txtファイルをなくすなどして、解決しておく必要があります。
URLエラー
URLエラーは、ページURLに問題がある場合に見られるエラーです。URLに問題があると、クロールされづらく、当然インデックスもされにくい状態となります。この場合は、URLエラーの原因に応じて対処していく必要があります。
ソフト404エラー
ソフト404エラーは、ページでは404エラーとして表示されているにも関わらずサーバーから404エラーの返答がされていない際に発生します。ソフト404エラーが発生すると、Googleがサイト内に存在しないページのクロールやインデックスに無駄に時間を費やしてしまうというデメリットがあります。
【ソフト404エラーの対処方法】
ソフト404エラーの対処方法としては、実際に404ページなのであればステータスコードを適切に404に変更し、該当のURLをサイトマップから削除する必要があります。また、該当ページが移動している場合や代わりのページが存在する場合は301リダイレクトの設定を行いましょう。
しかし、コンテンツが存在しインデックスさせたいページにもかかわらずソフト404エラーが出ている場合には、Googleはそのページのコンテンツがインデックスに足らないとみなしている可能性があります。そのため、ページのコンテンツを改善しオリジナル要素を増やすことで、エラーの解消をすることができます。
アクセス拒否
アクセス拒否とは、クロールが何かしらの原因でページにアクセスできなかった場合に発生します。ページへのアクセス権がなく、閲覧を拒否されている場合に表示される403エラーなどがこれにあたります。
【アクセス拒否の対処方法】
アクセス拒否の対処方法としては主に2つ考えられます。一つ目が、サイトのrobots.txtファイルがGoogleのアクセスをブロックしていないかどうかをテストすることです。
そして2つ目が、Fetch as Googleを使用してサイトがGoogleからどのように認識されるかを確認する方法です。Fetch as Googleは、サイトのコンテンツや検索結果への表示の問題のトラブルシューティングを行う場合に役立ちます。
404エラー
404エラーは、指定URLのページが存在しないことを示すエラーで、Webブラウザからサーバーにリクエストしてもデータが返って来ないときに表示されます。URLのスペルが間違っている場合や、既に削除されたページにアクセスしている場合、リダイレクト設定がされていない場合などに表示されます。
【404エラーの対処方法】
404エラーは発生した際には、リンク元が内部リンクもしくは外部リンクかで対処方法が異なってきます。内部リンクで、既に削除しているページからエラー検出されている場合や、リンク切れなどでURLが誤っている場合は、ページを表示させないという対処や正しいリンク先になるように修正することができます。
一方で、エラーの検出元が外部リンクであった場合には、301リダイレクトで正しいページに導くようにする必要があります。
クロールエラーに対処する際の注意点
クロールエラーに対処する際には、注意すべき点や事前に知っておくべきこともあります。クロールエラーが検出された際に、焦らずに対処できるように注意点についてもしっかりと理解しておきましょう。
- URL削除ツールの使用
- 対処後の報告
- エラー表示がなくなるまでの時間
URL削除ツールの使用
Googleウェブマスターツールの「URL削除ツール」をつかうことで、検索結果に表示したくないページが表示されてしまった場合に検索結果から削除することができます。しかし、このURL削除ツールはクロールエラーの改善のために使用するものではありません。
クロールエラーの中には、実は対処を施さなくても問題のない場合もあります。たとえば、数年前の古いURLも検出しエラーとしてSearch Consoleに表示している場合もあり、大量のエラーコードが検出されてしまうということはよくあります。
そのため、エラーが検出されたページをURL削除ツールで削除してしまうと、サイトに問題が生じる可能性もあります。新たな問題が発生しないためにも、URL削除ツールを使用する際には注意が必要です。
古いURLなどは、自然に削除されるため焦って削除せずに待ってみるのも対処方法の1つです。
対処後の報告
クロールエラーの対処後は、必ずSearch Consoleで修正が完了したページごとに修正済みの報告を行う必要があります。修正済みの報告はGoogleへの再クロールの依頼のようなもので、これを行わなければクローラーが巡回してくるのに時間がかかってしまい、ページが評価されるまでにも時間を要します。
そのため、クローラーに改善したページを巡回させるためにもクロールエラーの対処後は必ず修正済みの報告を行いましょう。
エラー表示がなくなるまでの時間
クロールエラーの種類と対処方法について解説してきましたが、適切にエラーの原因を対処したからといってすぐにエラー表示がなくなるわけではありません。Search Consoleで対処後に報告をしても、クロールエラーの対応済みレポートの反映はリアルタイムで行われるわけではありません。
クロールエラーの種類にもよりますが、特にWebサイト内の多くのページにまだがる修正の場合、長いときには2〜3ヶ月ほど反映に時間がかかることもあります。対処したからと言ってすぐに反映されるわけではないので、事前に理解した上で対処する必要があります。
まとめ
ここまででご紹介したように、クロールエラーにはいくつかの種類がありそれぞれで対処方法が異なります。Webサイトを運営していると、Search Consoleでクロールエラーの表示が出ることもあるでしょう。そのときは、慌てずに原因を探りエラーの原因にあった対処していくことが必要です。クロールエラーは、SEOにもマイナスになることがあるので定期的にSearch Consoleを確認することが重要ですが、クロールエラーの中には対処しなくても問題がないものもあるため、まずはエラーが表示された要因の理解が重要となります。
この記事の監修者
日本大学法学部卒業、広告代理店で12年間働いている間、SEOと出会い、SEO草創期からSEO研究を始める。SEOを独学で研究し100以上のサイトで実験と検証を繰り返しました。そのノウハウを元に起業し現在、11期目。営業、SEOコンサル、WEB解析（Googleアナリティクス個人認定資格GAIQ保持）コーディング、サイト制作となんでもこなす。会社としては今まで2000以上のサイトのSEO対策を手掛けてきました。
