クローキングは表示するコンテンツを、クローラーとユーザーとで異なる内容で表示させる手法です。以前はステルスまたはファントムとも呼ばれていました。クローキングは検索エンジンからの評価を不正に高めるため、ユーザビリティの低下につながるとされています。

また、ハッカーによって運営者の知らないところでクローキングがおこなわれていることもあります。

クローキングされているサイトはSEOに悪影響を与え、検索順位の降下や検索結果に表示されなくなるといったペナルティが課される恐れがあります。このペナルティはハッカーによってクローキングされていても課されるもののため、未然防止が欠かせません。

ここでは、意図せずしてクローキングをしてしまったときの対策と、クローキングを発見できるツールを紹介します。

クローキングとは

クローキングとは、サイトにアクセスしたユーザーとクローラーとで異なるコンテンツを表示させ、検索エンジンからの評価を高める手法です。スパム行為の1つであり、クローキングをおこなっているサイトにはペナルティが課される恐れがあります。

クローキングをする理由

WEBサイトをSEOの観点からみたとき、キーワードの比率が高い傾向にあるテキストサイトやシンプルなhtml構造のサイトが評価されます。一方、画像やFLASHを多用したサイトは評価されにくいもののデザイン性に富み、クリエイティブな印象があり視覚的にも華やかです。

この矛盾を埋めるため、クローキングをおこなって検索エンジンからの評価を得ようとする運営者がいました。

また、違法なアダルトサイトでは高い確率でクローキングがおこなわれています。クローラーに対しては合法な動画サイトであるようにみせつつ、ユーザーがアクセスしたときには違法なコンテンツを表示しています。

こうすることで違法なコンテンツを扱っていることへのペナルティを回避しつつ、集客に成功しています。

ですがクローキングは不正行為であり、正しいSEO対策ではありません。Googleに提供した情報と異なる情報をユーザーに提示することは、SEOの考えに反しています。また、Googleへのユーザーからの信頼を損なう行為ともいえます。

クローキングはSEOに悪影響

クローキングはSEOに悪影響をもたらします。具体的に挙げられるものとして2つあります。

Googleからも、クローキングはガイドラインに違反していると公式に発信されています。

クローキングとは、人間のユーザーと検索エンジンに対しそれぞれ異なるコンテンツまたは URL を表示することです。クローキングは、Google ユーザーに予想外の結果をもたらすため、Google のウェブマスター向けガイドライン（品質に関するガイドライン）に違反していると見なされます。

出典:クローキング（Google検索セントラル）

クローキングによって検索エンジンからの評価を高めようとする行為は、不正行為です。絶対に実施してはいけません。

例外となるクローキング

クローキングのなかには、例外とされているものもあります。代表的な例を3つ挙げます。

これら3つの例に共通している点は、すべてユーザーにとって有益な内容であるということです。ユーザーが使用するデバイス、アクセスする時間や地域によって適切なコンテンツを提供することは、ユーザーにとって有益です。

自社の都合ではなく、サイトにアクセスするユーザーにとって最適なコンテンツを提供できるようにすることを第一に考えてください。

クローキングの手法

クローキングの手法はおもに2つあります。

ここに挙げた手法は、実行すべきものではありません。知識として頭に入れておくのにとどめてください。

隠しテキスト

隠しテキストとは、テキストを視覚的にわかりにくくしてしまうことです。手法としては5つあります。

出展：隠しテキストと隠しリンク（Google検索セントラル）

この方法を使うと、ユーザーには認識されないキーワードをクローラーにのみ認識させることが可能です。かつてはキーワードを隠しテキストとしてサイトに紛れ込ませることで、検索結果の上位表示を狙うとするSEO対策が取られたことがありました。

現在は隠しテキストを用いると偽装工作と見なされる可能性があり、Googleのウェブマスター向けガイドライン（品質に関するガイドライン）の違反にあたります。隠しテキストを使ったSEO対策は通用しませんので注意してください。

クローラー以外をリダイレクト

ハッキングによって収入を得ようとする手法です。ハッカーが狙ったWEBサイトに侵入し、Googleのクローラー以外を別のサイトにリダイレクトさせます。これは、サイトの運営者が気づかないうちに勝手にクローキングされていることになります。

対策を取らず放置しているうちにペナルティを受け、検索順位が降下したり、検索結果に表示されなくなったりします。ハッキングによるクローキングはツールを使って対策できます。ツールについては後述します。

クローキングの具体例

クローキングの具体例は主に2つあります。

クローラーと人間とで異なるコンテンツを表示させるとき、IPアドレスやユーザーエージェントを手がかりにしています。この判別によって、検索エンジンとユーザーとでまったく異なるコンテンツを表示させています。これは違法なアダルトサイトによくみられる手法です。

もう1つはユーザーには画像やFLASHを多用したおしゃれでスタイリッシュなサイトを表示させつつ、検索エンジンにはテキストのみのシンプルなhtml構造であるようにみせかける手法です。この方法は、SEO対策として使われるパターンが多くみられます。

仮にSEO対策としておこなったクローキングであっても、Googleが設けているガイドラインに違反している事実は変わりません。もしこのような方法をSEO対策としておこなっているなら、速やかにやめるべきです。

意図しないクローキングを回避する方法

意図的なものであるか否かにかかわらず、クローキングは不正行為とみなされます。クローキングと見なされないために3つの方法があります。

スマートフォンとパソコンでクローラーを振り分ける

スマートフォンとパソコンとで表示する内容を分けているときは、クローラーも振り分けてください。Googleはスマートフォンとパソコンとで異なるクローラーを使用しています。

つまり、パソコンサイトへのクローラーに対し、スマートフォン用のサイトを表示させる設定になっているとクローキングと見なされるリスクがあります。これは反対のパターンも同様です。ただし、この問題はレスポンシブ対応のサイトには当てはまりません。

ログインしなければ見えない情報はクローラーをブロックする

ネットショップや会員制サイトなどログインしなければ見えないページは、通常は検索結果に表示されることはありません。ですが検索結果に表示させるように設定すると、クローキングと判断されることがあります。

これはクローラーにはログインしたあとのページ（商品の情報や会員のみ閲覧できる内容）を表示させているのに対し、ユーザーにはログイン画面を表示させているためです。

ログインしなければ見えないページは、クローラーをブロックして検索結果に表示させないようにしてください。

ハッキングされていないかを確認する

ハッキングによるクローキングはもっとも厄介です。自社が意図していない、気づかないうちに勝手にクローキングされているうえ、ペナルティを受けるからです。そのため、ハッカーによってクローキングされていないかを確認することが大切です。

確認するときはGoogle Search ConsoleのURL検査ツールが有効です。自社サイトのURLを入力することで、正常にインデックスされているかがわかります。

また、セキュリティプラグインや２段階認証を導入してハッキングを未然に防ぐことも大切です。複数のユーザーがサイト内部にアクセスできる場合は、自動ログアウトできるように設定してください。

意図しないクローキングがあったときの対策

仮に意図しないクローキングが発見されたとき、３つの方法で対策できます。

クローキングがおこなわれているページを削除する方法はもっとも簡単ですが、反面、事情があって削除できないページには不向きです。このようなときは、htmlのheadタグ内でnoindexを使用できます。

headタグ内に<meta name=”robots” content=”noindex”>を入れてください。

このnoindexの目的は、クローラーがサイトを巡回したうえで検索結果に表示させないようにすることです。つまり、クローラーがサイトを巡回すること自体はブロックできません。

WordPressでサイトを製作、管理しているときはプラグインを導入すると簡単にnoindex設定できます。

クローキングを発見できるツール

クローキングを発見できるツールとして使えるもののなかから、４つをピックアップしました。

ツールの利用にあたって、無料で使えるものと有料のものがあります。

高評価

高評価はGMOが提供するツールで、無料で利用できます。調べたいURLとキーワードを入力すると、該当するページの基本情報やキーワードが適切に使われているかなど基本的なSEOができているかをわかりやすく表示します。

注意点としてAjaxやASPで構築されているページは情報が取得できないことが多くあるほか、対象URLがリダイレクトされている、またはJavaScriptで変更されていると結果が取得できないことがあります。

SEARCH WRITE

SEARCH WRITE（サーチライト）は株式会社PRAN-Bが提供するツールです。自動でサイトやページの内部構造をチェックし修正点を示すほか、コンテンツに必要な内容を具体的に示します。SEOに関する知識に自信がなくても安心して利用できます。

料金は月額５万円です。このうち、初期登録や導入支援の費用は不要です。登録できるサイトは１〜３件、ライセンス数は無制限です。資料請求や資料ダウンロードの料金は不要、さらに無料のデモ体験に申し込んで実際の使い心地を試すこともできます。

SEO Pack

SEO Packは株式会社ディーボが提供しているツールです。SEOにおける内部対策はもちろん、外部対策も同時におこなえます。ページ内に問題があれば修正点を教えてくれるほか、コンテンツ作成を支援する機能も備えています。契約プランは3か月と6か月の2種類です。

Google Search Console

Google Search ConsoleはGoogleから提供されている、無料で使えるツールです。メニュー内にある「手動による対策」から問題点があるかを確認できます。スパム行為やクローキングなど問題があるサイトはGoogleのスタッフが手動で対策をとっていて、実行される対策には2種類あります。

サイト全体に影響を与える対策がとられた場合には、サイト全体の一致の欄に理由と対象が表示されます。サイト内の個々のURLや一部に影響を与える対策の場合は、部分一致の欄に理由と対象が表示されます。

「手動による対策」ページを確認し、問題が確認できたときは早急に対応してください。

まとめ

クローキングとは、クローラーとユーザーとでそれぞれ異なるコンテンツを表示させる不正行為の1つです。この手法を使って検索エンジンからの評価を高めようとする運営者がいましたが、現在ではGoogleが公式に違法としておりペナルティの対象となっています。クローキングが使われてきたのはおもに違法なアダルトサイトですが、FLASHや画像を多用しているサイトでも使われていました。SEOの観点からみてテキスト主体のシンプルなhtml構造が好まれるため、クローラーにはシンプルなhtml構造のサイトであるようにみせかける方法が用いられたのです。クローキングを回避するためにはスマートフォンとパソコンとでクローラーを振り分ける、ログインしなければみえないページはクローラーをブロックするのが有効です。また、ハッカーによって勝手にクローキングがおこなわれることもあるため、ツールを使って定期的にハッキングされていないかを確認してください。もし意図しないクローキングが発見されたときは、該当ページを削除するかnoindexを使って検索結果に表示させないようにすることで対策できます。また、ツールを使って定期的にサイトをチェックすることでも対策できます。

 

この記事の監修者

アドマノ株式会社　代表取締役　天野　剛志

日本大学法学部卒業、広告代理店で12年間働いている間、SEOと出会い、SEO草創期からSEO研究を始める。SEOを独学で研究し100以上のサイトで実験と検証を繰り返しました。そのノウハウを元に起業し現在、10期目。営業、SEOコンサル、WEB解析（Googleアナリティクス個人認定資格GAIQ保持）コーディング、サイト制作となんでもこなす。会社としては今まで1000以上のサイトのSEO対策を手掛けてきました。