Google社は、Feedfetcherに関するガイドをGoogle検索セントラル上で公開しています。

参考（外部）：Feedfetcher

それによると、Feedfetcherとは、WEB上のフィードをクロールするための技術とのことです。また、原則的には、Google検索エンジンにインデックスされる対象は、フィードのなかでもポッドキャストフィードのみです。ただし、RSSやAtomフィードもインデックスされるケースがあると説明されています。

関連記事：Googleクローラーの種類と対策、フェッチャーの利用方法【Google検索セントラルの解説】

今回は、Feedfetcherのガイドの読み方を解説します。本ガイドは、サイト運用者の質問を集めたFAQ形式でページが構成されています。そのため、とくに、フィード機能を提供するサイトを運用していて、フィードコンテンツに対するクローラーを管理したい方は参考にしてください。

フィードとFeedfetcherの関係性

そもそも、Feedfetcher（フィードフェッチャー）は、WEBサイトのフィードをクロールしてGoogle検索エンジンに情報を共有する役割を担います。通常のWEBページと同様に、条件が整えばフィードが検索エンジンにインデックス登録されるケースもあります。

上述のとおり、Feedfetcherは、WEBコンテンツをクロールするロボットです。ただし、一般的なWEBクローラーとは異なり、次のような特徴を持ちます。

また、別ガイドでも紹介されていますが、このような機能を有するロボットをユーザートリガーフェッチャーと呼びます。

参考（外部）：Googleクローラーとフェッチャーの概要（ユーザーエージェント）

ガイド「Feedfetcher」の概要と読者

Google検索セントラルには、Feedfetcherの情報をまとめたガイドが設置されています。具体的には、Feedfetcherの仕組みの概要のほか、サイトオーナーからGoogle社に寄せられた、よくある質問がFAQ形式で掲載されています。

参考（外部）：Feedfetcher

本ガイドを読むべき職種

本ガイドを読むことで、フィードページに対するインデックス条件を理解できます。そのため、主に、フィード機能を有するサイトのWEBディレクターがSEO対策時に読むべき内容となっています。

ガイド「Feedfetcher」の構成と読み方

本ガイドでは、下記のように、サイトオーナーの質問とあわせて、Google社による回答がまとめられています。

上記のなかから、自社サイトの課題を解決できる質問や回答があったら参考にしてください。しかし、自社サイトの課題する答えが載っていない場合は、次のとおり、Googleに対して質問するフォームが案内されています。

質問項目「Googleがサイトのフィードの一部またはすべてを取得しないようリクエストするにはどうすればよいですか？」の回答を解説

質問項目「Googleがサイトのフィードの一部またはすべてを取得しないようリクエストするにはどうすればよいですか？」では、WEBサイトのフィードに対するクロールを制限する方法について回答しています。

それによると、Feedfetcherは、サイトやアプリの利用者がフィードにアクセスすると起動して、フィードページのデータの取得を試みる仕組みとのことです。また、Feedfetcherは、一般的なWEBクローラーではないため、robots.txtで指示を出すことができないといいます。

そこで、ユーザーエージェント「Feedfetcher-Google」を指定して、エラーステータスを返すようにサイトを設定する方法が有効であると説明されています。

本ガイドの補足になりますが、サイト設定としては、.htaccessファイルを利用して、指定のユーザーエージェントに対してアクセス制限をかける手段が挙げられます。

質問項目「Feedfetcherはどのくらいの頻度でフィードを取得しますか？」の回答を解説

質問項目「Feedfetcherはどのくらいの頻度でフィードを取得しますか？」では、Feedfetcherのフィード取得頻度について回答しています。

その回答によると、サイトの更新頻度に応じて変化するとのことです。さらに、フィード取得の頻度が高い場合でも、1時間に1回を超えることがないように設計されているとのことです。

質問項目「Feedfetcherが私のサーバーや存在しないドメインから間違っているリンクをダウンロードしようとするのはなぜですか？」の回答を解説

質問項目「Feedfetcherが私のサーバーや存在しないドメインから間違っているリンクをダウンロードしようとするのはなぜですか？」と「Feedfetcherが「非公開」のウェブサーバーから情報をダウンロードしようとするのはなぜですか？」では、Feedfetcherが誤った情報を取得する原因について回答しています。

そもそも、Feedfetcherが取得するフィード情報は、サイト利用者がリクエストしたURLを基にしているとしたうえで、サイト利用者が誤ったURLをリクエストしたことが原因として考えられると、質問の問いに答えています。

質問項目「Feedfetcherがrobots.txtファイルの指示に従わないのはなぜですか？」の回答を解説

質問項目「Feedfetcherがrobots.txtファイルの指示に従わないのはなぜですか？」では、Feedfetcherをrobots.txtで制御できない理由について回答しています。

この回答としては、Feedfetcherは、サイト利用者がリクエストした情報を基にしてフィードを取得することが、robots.txtを無視する理由として挙げられています。このほか、別ガイド「Googleクローラーとフェッチャーの概要（ユーザー エージェント）」では、Feedfetcherは、一般的なWEBクローラーと異なり、ユーザートリガーフェッチャーと呼ばれる機能であると紹介されています。そして、ユーザートリガーフェッチャーの特徴として、robots.txt内のルールは無視されると仕様を説明しています。

質問項目「Google.comの複数のマシンからアクセスがあり、それがすべてユーザーエージェントFeedfetcherであるのはなぜですか？」の回答を解説

質問項目「Google.comの複数のマシンからアクセスがあり、それがすべてユーザーエージェントFeedfetcherであるのはなぜですか？」では、複数のコンピューターでFeedfetcherを管理している理由について答えています。

それによると、複数のコンピューターを利用することで、パフォーマンスを高める目的があると説明されています。さらに、Feedfetcherには、次のような特徴があるといいます。

質問項目「ログにフィルタをかけたいので、Feedfetcherのリクエストで使用されるIPアドレスを教えてください。」の回答を解説

質問項目「ログにフィルタをかけたいので、Feedfetcherのリクエストで使用されるIPアドレスを教えてください。」では、Feedfetcherによるアクセスを特定する方法について回答しています。

そこでは、まず、FeedfetcherのIPアドレスは毎回変化すると述べられています。そのため、アクセス解析時には、IPアドレスではなく、ユーザーエージェント「Feedfetcher-Google」でFeedfetcherを特定することが推奨されています。

質問項目「Feedfetcherがサイト上の同じページを何度もダウンロードするのはなぜですか？」の回答を解説

質問項目「Feedfetcherがサイト上の同じページを何度もダウンロードするのはなぜですか？」では、ファイルのダウンロード回数について回答しています。

それによると、この質問のケースは、Feedfetcherを管理するコンピューター側の不具合であると説明されています。

質問項目「Feedfetcherはどのような種類のリンクをたどりますか？」の回答を解説

質問項目「Feedfetcherはどのような種類のリンクをたどりますか？」では、Feedfetcherのクロール方法について回答しています。

この答えでは、Feedfetcherは、WEB上のリンクを辿って巡回することはないとしています。

質問項目「ここに記載されていないFeedfetcher関連の質問については、どこに問い合わせればよいですか？」について

本項目では、ガイド内に適切な質問が見つからなかった読者向けに設置されています。該当の読者は、Google検索セントラルのヘルプコミュニティで質問を投稿してくださいとのことです。

ガイド「Feedfetcher」の活用方法

本ガイドは、Google検索セントラルのガイドとしては特殊なページ構成で、FAQコンテンツとして公開されています。そのため、Feedfetcherに対する疑問点を解消することを目的に閲覧できます。ただし、本ガイドに疑問を解決できる情報が掲載されているとは限りません。そのようなときには、次のようなフローで情報を探してください。

1.本ガイド内のすべての質問項目に目をとおす

Feedfetcherに対して疑問点があれば、すべての質問項目に目をとおしてください。自身の疑問に対する質問や回答とマッチする項目をチェックします。

2.別ガイドの情報をチェックする

本ガイドに求めている情報が載っていなければ、別ガイドをチェックしてください。関連ガイドの探し方としては、次のような方法があります。

3.ヘルプコミュニティで質問する

Google検索セントラル内に、Feedfetcherに対する満足のいく情報を掲載するガイドがなければ、ヘルプコミュニティを利用してください。ただし、投稿した質問は、Google検索セントラル内で一般公開されますので、個人情報等を書き込まないように注意してください。

Feedfetcherのよくある質問

ここでは、本ガイドのFAQとは別項目として、Feedfetcherに関する基本情報など、よくある質問を集めています。
 

まとめ

Feedfetcherに関する、よくある質問をまとめたガイドがGoogle検索セントラル上に設置されています。本ガイドのページ項目は、Google社がサイトオーナーから受ける質問をまとめています。こうしたことから、本ガイドを読むことで、Feedfetcherに対する疑問点や不明点を解消できる可能性があります。とくに、WEBサイト上でフィードを提供しているケースでは、役立つ情報が多いので参考にしてください。

SEOとWEBマーケティングの専門メディア｜東京SEOメーカーTOPへ戻る

この記事の監修者

アドマノ株式会社　代表取締役　天野　剛志

日本大学法学部卒業、広告代理店で12年間働いている間、SEOと出会い、SEO草創期からSEO研究を始める。SEOを独学で研究し100以上のサイトで実験と検証を繰り返しました。そのノウハウを元に起業し現在、11期目。営業、SEOコンサル、WEB解析（Googleアナリティクス個人認定資格GAIQ保持）コーディング、サイト制作となんでもこなす。会社としては今まで2000以上のサイトのSEO対策を手掛けてきました。