SEO対策の東京SEOメーカー

クロール済み-インデックス未登録の解消方法は?具体的な手法を解説

クロール済み-インデックス未登録の解消方法は?具体的な手法を解説
インデックス登録とは、インターネット上のコンテンツ情報を、Googleのロボットが、Googleのデータベースに保存することをいいます。Webコンテンツを検索画面に反映するためには、インデックスされる必要があります

 

インデックス登録を促すには、情報収集するロボットプログラムのクローラーの対策が必要です。ただし、クローラーによって情報収集されても「クロール済み-インデックス未登録」の状態になる場合があり、必ず登録されるとは限りません。

 

amano_portrait今回は、インデックスをされやすくする方法やインデックス未登録の解消法などを具体的に解説します。

 

SEOコンサルティング

クロールとGoogleインデックス登録の関係

Webページなどのコンテンツを検索画面に反映させるには、コンテンツ情報がGoogleのデータベースに登録される必要があります。Googleのデータベースに登録されることをインデックス登録と呼びます。

 

インデックスされるためには、コンテンツ情報が収集されなければいけません。

 

Web上の情報を収集するのを「クロール」と呼びます。クロールの方法は、クローラーと呼ばれるGoogleのロボットプログラム(通称Bot)が、公開されているWebコンテンツを巡回して、情報を集めます。

 

インデックス登録されないと検索結果に表示されない

インデックス登録されないコンテンツは、検索結果に反映されないため、集客が困難になります。

 

日本の検索シェアは、GoogleとGoogleの検索エンジンを使用しているYahoo!が8割以上を獲得しているため、SEO戦略はGoogleの評価を基準にして考えるのが主流です。

 

クローラーが収集したコンテンツ情報は、テキストや画像などのファイルを分析し、グループ分けして保存(インデックス)します。

そして、ユーザーが検索を行うと、保存されたコンテンツの中から、検索の語句に関連するページに順位がついて上位から表示します。

 

検索結果は、Google独自の評価基準で順位付けする仕組みです。検索上位を狙うSEO施策を行う際は、インデックス登録は非常に重要になります。

 

参照:Google の検索エンジンの仕組み、検索結果と掲載順位について

参照:Search Engine Market Share Japan

 

インデックス登録の確認方法

作成したWebコンテンツがインデックス登録されているかの確認方法は、以下の3つの方法があります。

 

  • タイトルで検索

検索画面で、Webコンテンツのタイトル名をそのまま入力して検索する

 

  • 「Site:ページのURL」で検索

検索窓に「Site:」と入力後、WebコンテンツのURLを入力して検索する

 

  • Google Search Consoleで検索

Google Search ConsoleのTOPページ左側の「URL調査」をクリックし、検索窓にURLを入力し検索すると、インデックス登録or未登録の結果が表示される

 

また、Google Search Consoleを使って、インデックス未登録のURLの一覧を確認できます。

 

インデックス未登録のURLの一覧を確認

 

以下が一覧の確認方法です。

 

  • Google Search ConsoleのTOPページ左側の「ページ」をクリック
  • 表示されたページをスクロールすると「ページがインデックスに登録されなかった理由」が理由別に表示
  • 「クロール済み-インデックス未登録」や「検出-インデックス未登録」の項目をクリック
  • 画面をスクロールすると下部に対象のURLが表示

 

Webコンテンツを更新した場合は、インデックスされているか定期的に確認すると良いです。

 

インデックスされやすくなる方法

Webコンテンツをインデックス登録するためには、クロールを促したり、クローラーが巡回しやすくしたりなどの施策が有効です。他にも、ユーザーに有益なWebサイトだと検索エンジンに認識されれば、頻繁にクローラーが訪れ、インデックスを促せます。

 

具体的なクローラー対策方法は、以下の9つの手法です。

 

  • XMLサイトマップを作成し送信
  • パンくずリストの設置
  • インデックス登録のリクエスト
  • 高品質のコンテンツの定期更新
  • コンテンツの一貫性
  • 被リンクの獲得
  • 内部リンクの確認
  • Ping送信やRSS配信
  • 表示スピードの向上

 

それぞれ詳しく説明していきます。

 

XMLサイトマップを作成し送信

XMLサイトマップを作成し送信

XML形式のサイトマップを作成し送信することで、クローラーがURLを見つけやすくなり、巡回してもらえます。

 

XMLサイトマップはWebサイトの各ページにある情報を、検索エンジン向けに記載しているファイルのことです。クローラーに、コンテンツを認識してもらう効果があります。

 

WordPressを利用しているなら、専用のプラグインをインストールして作成し、Google Search Consoleから送信する方法が簡単です。

 

XMLサイトマップを送信することで、クローラーを定期的に呼び込めて、インデックス登録を促すことにつながります。

 

関連記事:XMLサイトマップとは?SEO効果や作成方法、注意点を解説

 

パンくずリストの設置

パンくずリストの設置
クローラーが巡回しやすくなるためには、パンくずリストの設置が効果的です。

 

パンくずリストとは、ページがサイト内のどこにあるかをナビゲーションする役割です。パンくずリストがあることで、クローラーにサイト構造をわかりやすく伝えられます。

 

クローラーは、Webサイト内のトップページからカテゴリーなど、サイト構造の順番に沿って巡回します。そのため、パンくずリストがあれば、クローラーが今いるページがどの位置にあるのかがわかり巡回しやすくなり、インデックスを促すことができます。

 

インデックス登録のリクエスト

インデックス登録のリクエスト

Google Search Consoleから、インデックス登録のリクエストを送ることが可能です。リクエスを送ればクローラーが優先的に巡回し、インデックスされる時間を節約できます。

 

しかし、リクエストを送信しても、インデックスされない場合があり、必ず登録されるとは限りません。

 

高品質のコンテンツの定期更新

質の高いコンテンツを定期更新できれば、検索エンジンにサイトを高く評価してもらえて、インデックス登録されやすくなります。

 

検索エンジンは、ユーザーにとって有益と判断できるコンテンツを高く評価し、検索画面に反映するためです。

 

また、定期更新を行うことで、定期的にクローラーを呼び込むことができます。定期的に高品質のコンテンツを更新すればクローラーが再訪問して評価を得られ、インデックスされやすくなります。

 

コンテンツの一貫性

コンテンツに一貫性があれば、検索エンジンの評価につながり、インデックス登録を促せます。検索エンジンはユーザーを第一に考えているため、ユーザーの利便性も評価基準の1つです。

 

一貫性のあるコンテンツを発信し続けることで、そのWebサイトのみで、欲しい情報にアクセスできると検索エンジンに判断してもらえます。知りたい情報の追加や補足情報も1つのサイトで入手できれば、ユーザーの利便性を高められるためです。

 

そのため、一貫性のあるコンテンツを更新し続けていれば、インデックス登録を促すことができます。

 

被リンクの獲得

外部のWebサイトから被リンクを獲得することで、検索エンジンからの評価を得やすくなり、インデックス登録を促せます。

 

被リンクを多く集めているページは、他のページやサイトから参考にされていると判断され、権威性(オーソリティ)を高められるためです。

 

被リンクを得て権威性があるページは、検索エンジンの高評価につながり、インデックスされやすくなります。

 

内部リンクの確認

内部リンクが最適化されているかの確認も、インデックス登録につながります。

 

内部リンクはサイト内のページをつなげる役割を持っています。内部リンクを適切に設置することでクローラーがリンクをたどってWebサイト内を巡回し、効率よく情報収集してくれます。

 

ただし、むやみやたらに内部リンクを設置するのは逆効果になります。元のページと関係ないページのリンクを設置してしまうと、ユーザーの知りたい情報につながらない設計のサイトだと判断され、評価が下がる可能性があるためです。

 

サイトの評価が下がるとインデックスされない可能性があるため、注意が必要です。

 

RSS配信

RSS配信は、更新されたページや新着情報を、XMLベースのフォーマットで配信する方法です。

 

XMLサイトマップは、サイトにある全てのURLで構成されていますが、RSSは最新の情報のみで構成されています。そのため、RSS配信を行えば、最新情報があるとクローラーが認識して訪問し、インデックスを促せます。

 

Googleも最適なクロールを行うためには、XMLサイトマップとRSS配信の両方をGoogle Search Consoleに登録して、利用することを推奨しています。

 

参照:XML サイトマップと RSS/Atom フィードのベストプラクティス

 

表示スピードの向上

Webページの表示スピードを速くすれば、インデックス登録を促すことが可能です。

 

もし、Webページの表示スピードが遅いと、ユーザーエクスペリエンスを下げることになり、サイトの評価も下がるため、インデックスされない可能性があります。

 

2018年にGoogleが発表したページ速度に関する報告によると、表示速度が1秒から3秒になった場合32%のユーザーが離脱し、1秒から5秒に遅くなると90%が離脱すると報告されています。

 

検索エンジンの評価では、ページが読まれている時間なども基準になります。そのため、表示スピードが遅いWebページは最後まで読むユーザーが少なく価値がないと判断され、インデックスされない可能性が高くなります。

 

インデックスされるためには、Webページの表示スピードの向上も必要です。

 

参照:Find out how you stack up to new industry benchmarks for mobile page speed

 

クロール済み-インデックス未登録の原因と解消法

クロール済み-インデックス未登録の原因と解消法

クローラーに情報収集されても、インデックス未登録となる場合があります。未登録状態はGoogle Search Console内で「クロール済み-インデックス未登録」と表記されます。

 

未登録になる原因はいくつかありますが、コンテンツの質が悪かったり、記載されている情報が重複していたりなど、検索エンジンに登録不要と評価されるためです。

 

クロール済み-インデックス未登録を解消するには、以下の方法が有効です。

 

  • 記事のリライト
  • ページの統合
  • canonicalタグの設置
  • noindex設定がされていないか確認
  • 新規ドメインの場合は少し時間をおく

 

コンテンツのリライト

コンテンツの質が低いページの場合は、リライトして品質を高めることで、インデックス登録される可能性が高くなります。

 

コンテンツの質が低いと、検索エンジンはユーザーの役に立たないと判断し、インデックスしません。質の悪い記事は読みにくかったり、ユーザーが欲しい情報が載っていなかったりするため、読んでも価値がないと判断されるためです。

 

ただし、コンテンツの良いリライト法などは確立されていません。そのため、リライトする場合は、以下のポイントをおさえると良いです。

 

  • 検索意図に応えているか
  • 競合記事に比べて足りない情報がないか
  • 検索語句に回答できているか

 

また、質の低いページがあるとサイト全体の評価に悪影響を与えるため、リライトが難しい場合はページの削除も選択肢に入れておきます。

 

関連記事:リライト方法と進め方 SEO効果を得るための書き方を解説

 

ページの統合

内容が重複しているページは統合することで、検索エンジンからの評価が分かれずに、インデックスされる可能性があります。

 

同じような内容の記事がいくつかあるとカニバリを起こしてしまい、検索エンジンの評価に悪影響を与える可能性があるためです。

 

カニバリとはcannibalization(カニバリゼーション)の略で、「共食い」を意味します。マーケティング業界では、「同じ企業の製品やサービスが顧客を奪い合っている状態」のことを指す言葉です。

 

参考:カニバリゼーションとは?SEOへの影響から、カニバリ対策までを解説

 

同じサイト内で重複したコンテンツがあると評価が分かれてしまい、インデックス未登録の原因になります。そのため、関連するコンテンツを確認し、重複しているなら統合すると良いです。

 

canonicalタグの設置

canonicalタグとは、Webサイト内に重複や類似コンテンツがある場合、どのコンテンツを検索エンジンに評価してほしいかを伝えるタグです。

 

canonicalタグは、評価してほしいページの正規URLに設置する必要があります。

 

もし誤って別のページにcanonicalタグを設置すると、評価してほしくない別のコンテンツがインデックス登録されてしまうため、注意が必要です。

 

参考:canonicalタグとは?意味や重要なカノニカル設定について解説

 

noindex設定がされていないか確認

コンテンツにnoindex設定がされていると、インデックスされないため確認すると良いです。noindexとは、検索エンジンによるインデックス登録をブロックするための設定です。

 

noindexの設定を行うと、クロールされたとしてもインデックスされず、検索画面に反映されません。

 

意図的にnoindex設定を行っていれば良いですが、手違いで設定していた場合、機会損失になる恐れがあります。

 

参考:noindexとnofollowの違いとは?記述方法や設定の注意点を徹底解説

 

新規ドメインの場合は少し時間をおく

新規ドメインで立ち上げたばかりのWebサイトの場合、インデックス登録されるまでは通常より時間がかかるため、少し時間をおいて再度確認すると良いです。

 

新規ドメインのサイトはクローラーが認知しておらず、巡回されるまで時間がかかります。クローラーが初回訪問するまでに数か月かかるケースもあり、インデックスまでに時間がかかるのが通常です。

インデックスされない場合は、Google Search Consoleよりインデックス登録をしてみてください。翌日にはインデックスされるケースが多いです。

 

コンテンツ品質に問題がないなら、少し時間をおいて様子見をすれば、そのうちインデックスされます。

 

クロール済み-インデックス未登録の解消される時間

「クロール済み-インデックス未登録」になったページを、リライトなどを行って改めて更新した場合、未登録が解消されるまではヵ月かかるケースもあります。

 

しかし、改めて更新して数日でインデックスされたり、数ヵ月経っても登録されなかったりなど、さまざまなケースがあるでしょう。そのため、解決策を行っても、必ずしもインデックスされるとは断言できません。

リライトした場合は、必ず、Google Search Consoleよりインデックス登録をしてみてください。

 

もし、6ヵ月以上様子見しても改善できないなら、再度リライトしたり、思い切って削除したりすると良いです。

 

クロール済み-インデックス未登録で問題ないページ

Webサイト上のコンテンツの中には資料のリンクなど、インデックス登録を回避したいページがあります。特に以下のページは、インデックス未登録でも問題ないです。

 

  • feedページ
  • PDFリンク
  • ページネーション2ページ目以降

 

それぞれのページの特徴を説明します。

 

feedページ

feedページとは、コンテンツの概要や更新情報をまとめたページのことです。ユーザーのためではなく、検索エンジンが読み取るためのものなので、インデックス未登録状態のままでも良いものです。

 

feedページは、URLの最後に「/feed」と記載されています。Google Search Consoleで未登録一覧の中で、最後に「/feed」と記載されたURLが大量に掲載される場合がありますが、放置しても問題はありません。

 

また、URLの最後に「/feed/atom/」と記載するものも同様なため、気にする必要はないことがあります。

 

PDFリンク

ほとんどのPDFリンクは、コンテンツの中の資料の位置づけになることが多いため、インデックス未登録状態になっても良いケースがほとんどです。

 

そのため、PDFリンクがインデックス未登録になっていたとしても、多くの場合はそのままにしておいても問題ありません。

 

ページネーション2ページ目以降

ページネーション2ページ目以降は、1ページ目の重複コンテンツと判断され、インデックス未登録になるケースがあります。

 

ページネーションとは、コンテンツを分割して読みやすくする機能です。長文のコンテンツが数ページに分かれているケースをよく見かけると思いますが、ページネーションによって分けています。

 

ページネーション2ページ目以降は、1ページ目と内容が類似する場合が多いため、検索エンジンがインデックス登録は不要と判断します。

 

1ページ目がインデックスされているなら、2ページ目以降が未登録になっても、そのまま放置で良いです。

 

クロールとインデックス登録の制御をしたいケース

Webサイト内には、インデックス登録を回避したいページが存在するケースがあります。例えば、以下のようなページは検索画面に反映されると不利益を被ることがあります。

 

  • 会員限定ページ
  • 低品質ページ
  • テストページ
  • ショッピングページ

 

インデックス登録を避けたいなら、クロールとインデックスの制御が必要です。

 

関連記事:クロールとインデックス登録の制御について解説【上級SEO対策向け】

 

クロールとインデックス登録の制御方法

インデックス登録の制御は、サイト運営では重要です。事前に制御を行うことで、低品質コンテンツを非表示にするなどのSEO戦略に役立ちます。

 

クロールとインデックス登録の制御は、以下の3つの方法が挙げられます。

 

  • Basic認証を利用
  • txtファイルを使う
  • noindexを使う

 

それぞれ詳しく説明します。

 

Basic認証を利用

Basic認証の適用範囲にはクローラーは入れないため、インデックス登録されません。

 

Basic認証とは、アクセス制限をかける認証方法です。設定すると、アクセス時にIDとPasswordを要求されます。「.htaccess」を利用して簡単に設定できます。

 

Robots.txtファイルを使う

Robots.txtファイルを使えば、収集させたくないコンテンツをクロールさせないように制御できます。

 

Robots.txtファイルとは、クローラーのトラフィック管理のために、サイト内のどのURLにアクセス可能か、そうでないかを伝えるためのものです。Robots.txtファイルを使うことで、クロールにアクセスしてほしくないコンテンツを指示できます。

 

ただし、内部リンクからクローラーが訪問し、情報収集される可能性があるため、確実な制御方法とは言いきれません。

 

noindexを使う

noindexを設定すれば、インデックス登録を防ぐことができます。確実にインデックスを回避させたいなら、noindex設定を行うと良いです。

 

また、noindex設定を行うとクローラーの巡回頻度が下がるため、クロールの制御にもつながります。

 

まとめ

amano_portraitWebコンテンツを検索画面に反映させるには、インデックス登録が必要です。インデックス登録とは、クローラーと呼ばれるロボットプログラムによって、公開されているWebコンテンツ情報を集め、Googleのデータベースに保存することを指します。インデックスされないコンテンツは検索画面に反映されないため、集客が難しくなります。そのため、サイト訪問者数を伸ばすためのSEO戦略では、インデックス未登録状態を頻繁に確認し、解消する対策を行うのが重要です。また、インデックス登録を避けたいページがあるなら、クロールとインデックスの制御が必要です。

 

 

監修者:アドマノ株式会社 代表取締役 天野剛志
天野 剛志
マーケティングのエキスパート。Googleアナリティクス個人認定資格GAIQ保持。大学では経営法学を専攻。オーストラリア・イタリア・フランス・タイ・カンボジアなど世界各国を旅した後、イギリスで1年半生活し語学力と国際的視野を磨く。日本帰国後は広告代理店で営業を12年経験。SEOは草創期から独学で研究し、100以上のサイトで検証しつつノウハウを蓄積。2012年にSEO専門会社のアドマノを設立。
facebookで共有 Xで共有 LINEで共有

新着記事

人気記事

WEBマーケティング

SEO対策