クローラーとは？仕組みや検索結果にSEO上位表示させる方法を解説
サイトを運営する方であれば、一度は「クローラー」という言葉を聞いたことがあるはずです。クローラーは、SEO対策時には必ず覚えておきたい用語の1つです。クローラーへの理解が検索結果の上位表示にもつながります。
そこで本記事では、クローラーの意味や仕組み、検索結果の上位に表示させる方法などを紹介します。本記事を最後までお読みいただくことで、クローラーについて正しく理解できるようになりますので、是非とも最後までお読みください。
| 検索エンジンの関連記事 | |
|---|---|
| Google検索エンジンの仕組み | Googleとは？ |
| Googleのアルゴリズムとは？ | 検索エンジンとは？ |
クローラーとは
クローラーとは、Web上のページをサイトに登録（インデックス）するためのプログラムです。クローラーはWebページのリンクを辿ることでサイトを自動で検出し、スキャンしています。検出したページの内容に応じて、検索結果のどこに表示させるかを決定しています。
たとえば、自社サイト内で記事ページを1つ公開したとします。その記事ページが公開されれば、その直後にインターネットの検索結果に表示されるわけではありません。クローラーが自社サイト内のリンクを経由して新しいページが公開されたことを検出し、内容を確認した上で、サイトに登録します。サイト登録後に、ユーザーは検索結果から自社サイトに新たに追加された記事ページを見られるようになります。
つまりクローラーは、自社サイトで公開したページを検索ユーザーに見てもらうために不可欠なAIロボットなのです。
対策が必要なのは「Googleのクローラー」
クローラーは原則、検索エンジンをもつ各会社が開発し、運用しています。2022年2月時点で国内の検索エンジンのシェアの約77％が「Google」なので、対策が必要なのは「Googleのクローラー」です。
検索エンジンとは、検索ボックスに入力されたキーワードを元に、世界中のインターネットのページから情報を検索して表示するプログラムです。日本で検索エンジンを運用する会社は、次のような名称のクローラーを所有しています。
- Google：Googlebot
- Bing：bingbot
ちなみに、国内第2位で約17％のシェアを占めるYahoo!は現在、Googleの検索エンジンを使用しています。この理由からも、国内のSEOで対策が必要なクローラーは「Google」となるのです。
出典：Search Engine Market Share Japan（Statcounter Global Stats）
クローラーの仕組み
クローラーが、新たに追加されたページを検索結果に表示させるための仕組みを、簡単に解説します。
- Web上にどのようなページがあるのか検出する
- ページにアクセスして内容を確認する
- 検索結果のどこに表示させるかを決める
1. Web上にどのようなページがあるのか検出する
クローラーは、Web上に存在するすべてのページを検出します。その方法は、すでにクローラーが巡回したことのあるページからのリンクを経由して、新たに追加されたページを検出します。
このようなクローラーの経路によって、新たに追加したページを、Googleが絶えず把握できるようになっています。
2. ページにアクセスして内容を確認する
新たに追加されたページを検出すると、クローラーはそこへアクセスします。そして、新たに追加されたページの「テキスト」と「テキスト以外のコンテンツ（画像や動画など）」を読み込み、全体の視覚的配置を分析します。
3. 検索結果のどこに表示させるかを決める
クローラーが新たに追加されたページの視覚的配置を分析したあとに、そのページを検索結果のどこに表示させるかを決めます。このようなクローラーの巡回を経て、新たなページを公開してからサイトに登録されます。
つまりクローラーに検出されやすいのは「このページがどのようなことを書いているのか？」がわかりやすいページです。検索キーワードに対して最適な答えを返しているページほど、検索結果の上位に表示されやすくなります。
クローラー巡回によってページを上位表示させるには？
クローラーの巡回によって検索結果の上位に表示させるには、いくつか対策が必要です。クローラーがページを見つけやすかったり、コンテンツを理解しやすかったりするためにできることを8個紹介します。
- Google Search Consoleからインデックス登録を申請する
- サイトマップを送信する
- ドメインパワーを上げる
- 質の高いコンテンツを公開する
- 被リンクを獲得する
- E-A-Tを重視する
- モバイルでも見やすいサイトにする
- ページの表示速度を上げる
Google Search Consoleからインデックス登録を申請する
まずクローラーに巡回されやすいように、こちらからインデックス登録を促す方法があります。それがGoogle Search Consoleの「URL検査」です。新たに追加されたコンテンツは、Google Search Consoleを使ってインデックス登録を申請してください。
1.Google Search Consoleの「URL検査」を選ぶ
2.インデックス登録されていない場合は「インデックス登録をリクエスト」を選ぶ
以上の手順で、Googleに追加された個別ページのインデックス登録を申請できます。
サイトマップを送信する
先ほどのGoogle Search Consoleは、個別にインデックス登録を申請する方法です。複数のページが新たに追加されたことを一度に伝えるには、同じくGoogle Search Consoleから「サイトマップ」を送信してください。
サイトマップとは、サイト全体の構造を一覧で伝えるためのマップのようなものです。Googleのクローラーはこのサイトマップを読み込むことで、効率的にクローリング（クローラーが巡回すること）しています。
サイトマップの中でも、検索エンジン用の「XMLサイトマップ」を作成するのがもっとも基本的な方法です。XMLサイトマップのおすすめの作成方法は「無料のXMLサイトマップツールを使う」か「プラグインを使う（WordPress）」の2つです。
無料のXMLサイトマップツールは「sitemap.xml Editor」というサイトで作成できます。作成したXMLサイトマップはFTPソフトを使ってサーバーにアップロードし、そのURLをGoogle Search Consoleから送信します。
なお、自社サイトをWordPressで運営している場合は「XML Sitemaps」というプラグインを使う方法もあります。こちらのプラグインを使えばXMLサイトマップを自動で生成して送信してくれるため、オペレーションが不要になります。WordPressでサイトを運営している企業は、ぜひ利用してみてください。
ドメインパワーを上げる
ドメインパワーとは、検索エンジンからどれほどサイトが信頼されているかを表す指標です。いわばサイトの強さを示す言葉ですが、クローラーの巡回ではこのドメインパワーが非常に大切になります。元も子もない話ですが、クローリングによって上位表示されるには、サイトの総合評価が大きく関わってきます。
ドメインパワーの強いサイトのほうが優先してクロールされ、また上位表示されやすくなっています。このドメインパワーを上げる方法については次から詳しく紹介するので、まずは「クローラーの巡回にはドメインパワーが重要」という点はぜひ理解してください。
質の高いコンテンツを公開する
ドメインパワーを上げるために重要なのが「質の高いコンテンツ」です。Googleは「とにかく質の高いコンテンツに集中しましょう」とアドバイスしており、サイト運営者もこれを理解する必要があります。
それでは、質の高いコンテンツとは一体どのようなものを指すのでしょうか？質の高いコンテンツと言われるその特徴をいくつか紹介します。
- 検索ユーザーの分からないことや悩み、不安に対して、最適な答えを返している
- 専門性を活かしたコンテンツで、ユーザーに信頼されやすい
- 取材記事や独自に収集したデータを活かしたコンテンツなど、オリジナリティーが高い など
SEOのそもそもの目的が「コンテンツから顧客を獲得して、購入、リピートまでつなげる」ことにあるので、まずは質の高い記事を作成することから意識してみてください。
被リンクを獲得する
被リンクとは、外部のサイトに貼られた自サイトのリンクです。Googleはサイトを評価するときに、この被リンクを非常に重視しています。そのため、クローラーの巡回によってページを上位表示させやすくするには、基本的にサイトの被リンク数を増やしていく必要があります（ただし闇雲に増やせばいいわけではないので、詳しくは後述します）。
Googleは被リンクの数や、強いドメインパワーや著名人などのサイトに貼られた外部リンクによって、サイトを評価しています。この被リンクを増やすことで、ドメインパワーを上げ、クローリングされやすいサイトを作り上げられます。
被リンクを獲得するには、次のような点を意識してみてください。
- 共感や納得されやすいコンテンツを作って、拡散してもらう
- 自社で調査したデータを公開して、引用してもらうことで被リンクを集める
- 取材記事を作って、相手のサイトにリンクを張ってもらう など
関連記事: SEO外部対策 被リンクとは何か。被リンク効果と獲得方法を解説
E-A-Tを重視する
最近のSEOの傾向として「E-A-T」を重視しています。E-A-Tを意識したサイト作りが、Googleからの評価を高めることにつながります。
E-A-Tとは、Googleが定めている検索品質評価ガイドラインにおけるサイト判断の1つの基準です。E-A-Tは、次の3つの用語の頭文字を取っています。
- Expertise（専門性）
- Authoritativeness（権威性）
- Trustworthiness（信頼性）
つまりE-A-Tとは、ユーザーからサイトがどれほど信用されているかを表す指標です。E-A-Tを示すために、次のような点を意識してみてください。
- 会社概要のページを作成する
- コンテンツのページに著者情報を記載する（できれば資格保有者のような権威性のある人）
- 自社の専門性を活かしたサイトを運営する（病院が運営する医療サイトのように） など
Googleはクローリングの際に、コンテンツ以外にも「会社概要」や「筆者情報」などの、サイトの信頼性を示す情報も重視しています。上記のような、コンテンツ以外にも配慮したサイトを作ってください。
関連記事: SEO対策で重要視されるE-A-Tとは!?評価基準やEATの対策方法を徹底解説
モバイルでも見やすいサイトにする
Googleはクローラビリティ（クローリングしやすいサイトにする）を向上させるにあたって、モバイル対応にするように推奨しています。スマホやタブレットでも見やすいサイトのほうが、検索結果の上位に表示されやすくなっています。
ドイツのSISTRIX社の調査によると、携帯電話（スマホを含む）でサイトを検索するユーザーが全体の64％もいることがわかっています。さらに日々モバイル化も進んでいることから、サイト運営者はスマホへの対応が必須となっています。
モバイルでも見やすいサイトにするには、サイトを「レスポンシブデザイン」にしてください。レスポンシブデザインとは、PCやタブレット、スマホのすべてのデバイスに1つのURLで対応したサイトデザインです。
ページの表示速度を上げる
Googleはモバイル対応とともに、ページの表示速度も重視しています。ページの表示速度を上げることで、検索結果の上位に表示されやすくなります。
関連記事: ページスピードの計測方法とページ表示速度の改善方法/Page speed insight
クローラーを欺くとGoogleからペナルティを受ける
昔流行ったような、クローラーを欺く行為はGoogleからのペナルティ対象です。以下のやり方は「ブラックハットSEO」とも呼ばれる手法で、検索結果に表示できなくなるので、決してやらないでください。
- 有料で外部リンクを購入する
- 隠しテキスト、隠しリンク
- コピーコンテンツ
有料で外部リンクを購入する
被リンクの獲得のために、有料で外部リンクを購入してはいけませんとGoogleガイドラインにあります。Googleはツールを使って有料でリンクを作っているサイトに潜入しているので、そこから外部リンクを操作していることがわかるようです。
隠しテキスト、隠しリンク
ランキングを操作するための「隠しテキスト」や「隠しリンク」もペナルティ対象です。「隠しテキスト」とは、たとえば背景と同色の文字を入れたり、画像の背後にテキストを置いたりして隠す方法です。「隠しリンク」とは、小さな1文字のみ（ハイフンのような）をリンクにして隠すような方法です。
このような行為はペナルティ対象となりますので、決してやらないようにしてください。
コピーコンテンツ
ほかのサイトを無断複製したコンテンツは「コピーコンテンツ」として、上位に表示されにくくなっています。そもそもほかのサイトを無断複製することは著作権違反にあたり、相手から損害賠償を請求される可能性があるので、決してやらないようにしてください。
まとめ
クローラーとは、インターネットに新たに追加されたページを検出し、それをサイトに登録（インデックス）するためのAIロボットです。国内の検索エンジンのほとんどがGoogleのものです。そのため、Googleのクローラーを対策してください。クローラビリティを向上させるには「XMLマップを送信する」「質の高いコンテンツを公開する」などの方法があります。この記事で解説した内容をもとに、ぜひページの上位表示を目指してみてください。
この記事の監修者
日本大学法学部卒業、広告代理店で12年間働いている間、SEOと出会い、SEO草創期からSEO研究を始める。SEOを独学で研究し100以上のサイトで実験と検証を繰り返しました。そのノウハウを元に起業し現在、11期目。営業、SEOコンサル、WEB解析（Googleアナリティクス個人認定資格GAIQ保持）コーディング、サイト制作となんでもこなす。会社としては今まで2000以上のサイトのSEO対策を手掛けてきました。
