Um eine Seite in den Suchergebnissen der Google-Suchmaschine anzuzeigen, muss diese zunächst vom GoogleBot gecrawlt werden.

Hierbei spielt das Konzept der Crawlability eine entscheidende Rolle. Durch die Verbesserung der Crawlability kann die Anzahl der Seiten, die in den Suchergebnissen erscheint, sowie die Geschwindigkeit, mit der sie erfasst werden, erhöht werden.

In diesem Artikel erklären wir das Konzept der Crawlability. Wir geben einen Überblick über die Grundlagen und Funktionsweise und stellen wichtige Punkte vor, um die Crawl-Frequenz zu erhöhen.

Inhaltsverzeichnis

• Was ist Crawlability?
  • Beziehung zwischen Crawlability und SEO
• Wie crawlt der GoogleBot?
  • Verfolgung der Links auf Indexseiten
  • Die Informationen zur Crawlanfrage einsehen
• Methode zur Überprüfung des Indexes
  • Verwendung des Suchoperators site:-Abfrage
  • Überprüfung in der Google Search Console
• Maßnahmen zur Verbesserung der Crawlbarkeit
  • Erstellung einer XML-Sitemap
  • Crawlanfrage stellen
  • txt einrichten
  • Interne Links setzen
  • Backlinks gewinnen
  • Die Seitenstruktur optimieren
  • Isolierte Seiten entfernen
  • URL normalisieren
  • Die Crawling-Frequenz für eine Webseite erhöhen
• Häufig gestellte Fragen zur Crawlbarkeit
• Fazit

Was ist Crawlability?

Crawlability bezeichnet ein SEO-Fachbegriff, der den Zustand beschreibt, in dem ein Crawler eine Webseite leicht finden und durchsuchen kann.

Im Allgemeinen bezeichnet der Begriff „Crawler“ in diesem Zusammenhang den GoogleBot – einen automatisierten Roboter, der speziell von der Google-Suchmaschine zur Indexierung von Webseiten eingesetzt wird.

Wenn eine neue Seite erstellt wird, wird sie zunächst vom GoogleBot durchsucht und bewertet. Wenn die Seite als ausreichend wertvoll eingestuft wurde, erfolgt ihre Aufnahme in die Google-Suchmaschine.

Beziehung zwischen Crawlability und SEO

Durch die Verbesserung der Crawlability wird es für den Crawler einfacher, die einzelnen Seiten einer Webseite zu durchsuchen. Dadurch erhöht sich sowohl die Geschwindigkeit, mit der Seiten in die Google-Suchmaschine aufgenommen werden, als auch die Anzahl der erfassten Seiten.
Im Rahmen von SEO ist die kontinuierliche Optimierung solcher Faktoren entscheidend, weshalb Crawlability als eine der wichtigsten Maßnahmen im Bereich SEO angesehen wird.

Es sollte jedoch beachtet werden, dass selbst die hochwertigsten Inhalte nicht in den Index aufgenommen werden, wenn sie vom GoogleBot nicht erkannt werden können.

Wie crawlt der GoogleBot?

Der GoogleBot durchstreift kontinuierlich das Web weltweit, um neue sowie bestehende Seiten zu crawlen. Dabei nutzt er vor allem die folgenden zwei Wege:

Verfolgung der Links auf Indexseiten

Grundsätzlich dienen die Links, die zwischen Webseiten bestehen, als Routen für den GoogleBot.

Um eine Seite in den Suchergebnissen der Google-Suchmaschine anzuzeigen, muss sie zuerst in die Google-Suchmaschine aufgenommen werden. Der Vorgang, bei dem eine Seite in die Datenbank der Suchmaschine eingetragen wird, wird als „Indexierung“ bezeichnet.

Als potenzielle Routen für den GoogleBot kommen nur Links infrage, die auf Seiten verweisen, die bereits im Index der Google-Suchmaschine registriert sind.

Die Informationen zur Crawlanfrage einsehen

Wenn Sie eine Crawlanfrage an Google senden, erkennt der GoogleBot die betreffende URL und kann diese crawlen. Für die Crawlanfrage wird ein Tool namens Google Search Console verwendet, mit dem Sie Ihre Webseite analysieren können.

Darüber hinaus kann der GoogleBot auch eine Datei namens XML-Sitemap verwenden, die die Beziehungen zwischen den Seiten auf einer Webseite übermittelt, um das Crawlen durchzuführen.

Wenn Sie die XML-Sitemap an Google übermitteln, erkennt der GoogleBot die Existenz Ihrer Webseite und kann diese daraufhin durchsuchen.

Methode zur Überprüfung des Indexes

Wenn eine Seite vom GoogleBot gecrawlt wird, besteht die Möglichkeit, dass sie im Google-Suchindex aufgenommen wird. Ob sie tatsächlich indexiert wurde, kann mit den folgenden Methoden überprüft werden:

Verwendung des Suchoperators site:-Abfrage

Wenn Sie die gewünschte URL in das Suchfeld der Google-Suchmaschine eingeben, können Sie herausfinden, ob die betreffende Seite indexiert ist.

Geben Sie dabei die Domain der Webseite als URL ein (site:※URL), um alle indexierten Seiten innerhalb der Webseite zu überprüfen:

Überprüfung in der Google Search Console

Insbesondere bei neuen Webseiten schreitet die Indexierung nach einer gewissen Zeit nach der Veröffentlichung von Artikeln voran. Wenn die Indexierung nach der Veröffentlichung jedoch langsam verläuft oder es eine große Diskrepanz zwischen der Anzahl der veröffentlichten Seiten und der indexierten Seiten gibt, könnte die Webseite ein Problem haben.

Die Google Search Console ermöglicht solche Überprüfungen und ist daher ein äußerst nützliches Tool für den Betrieb einer Webseite. Falls Sie es noch nicht verwenden, sollten Sie die Einführung der Google Search Console einmal in Betracht ziehen.

Maßnahmen zur Verbesserung der Crawlbarkeit

Zur Verbesserung der Crawlbarkeit gibt es folgende Maßnahmen:

Erstellung einer XML-Sitemap

Durch die Erstellung und Übermittlung einer XML-Sitemap wird der GoogleBot dabei unterstützt, die Webseite zu erkennen und die Struktur der Seite zu verstehen. Dies erhöht die Chancen, dass der GoogleBot die Seite crawlt, weshalb Sie die Erstellung einer XML-Sitemap in Betracht ziehen sollten. Gehen Sie bei der Erstellung einer Sitemap wie folgt vor:

Crawlanfrage stellen

Über die Google Search Console können Sie Crawlanfragen für einzelne Seiten an Google stellen.

Um eine Anfrage zu stellen, melden Sie sich in der Google Search Console an und wählen Sie im Menü „URL-Prüfung“. Geben Sie die URL der Seite ein, für die Sie eine Crawlanfrage durchführen möchten.

Sobald das Ergebnis der URL-Prüfung angezeigt wird, sehen Sie den Status der Seite. Auf dem Bildschirm können Sie folgende Informationen einsehen:

Falls die Seite noch nicht gecrawlt wurde, sollten Sie unbedingt eine Anfrage in der Google Search Console stellen.

Beachten Sie jedoch, dass dies lediglich eine Aufforderung an den GoogleBot ist, die Seite zu crawlen. Eine eingereichte Anfrage garantiert nicht, dass der GoogleBot die Seite auch tatsächlich crawlt.

robots.txt einrichten

Die robots.txt-Datei ist eine Datei, mit der Sie dem GoogleBot erlauben können, bestimmte URLs zu crawlen, oder den Zugriff auf bestimmte URLs verbieten können. Durch die Verwendung dieser Datei lässt sich unnötiges Crawlen vermeiden, wodurch die Crawling-Effizienz gesteigert wird.

Zum Beispiel könnte die robots.txt folgendermaßen aussehen:

Quelle：Wie man eine robots.txt-Datei schreibt, einrichtet und einreicht | Google Search Central

Dadurch wird dem GoogleBot der Zugriff auf alle URLs unter „https://example.com/nogooglebot/“ verweigert.

Interne Links setzen

Durch das Setzen von internen Links wird es für Crawler einfacher, die Artikel innerhalb einer Webseite zu finden. Es gibt verschiedene Arten von internen Links, wie zum Beispiel:

Beachten Sie jedoch, dass interne Links in erster Linie dazu dienen, den Besuchern der Webseite das Auffinden von Informationen zu erleichtern. Vermeiden Sie es, irrelevante Links nur aus dem Zweck der Erhöhung der Linkanzahl einzufügen.

Backlinks gewinnen

Durch den Erhalt von Backlinks von externen Webseiten wird der Crawling-Pfad für Crawler erweitert. Zudem führt eine Zunahme qualitativ hochwertiger Backlinks zu einer verbesserten SEO-Wirkung.

Einige Maßnahmen zum Erhalten von Backlinks sind:

Backlinks sollten jedoch auf natürliche Weise entstehen. Das gezielte Sammeln von Backlinks auf spamartige Weise kann zu einer Google-Strafe führen, daher ist Vorsicht geboten.

Die Seitenstruktur optimieren

Durch den Aufbau einer klar verständlichen Seitenstruktur wird eine crawlfreundliche Umgebung für Crawler geschaffen. Als allgemeine Richtlinie wird empfohlen, alle Seiten so zu gestalten, dass sie innerhalb von maximal drei Klicks von der Startseite aus erreichbar sind.

Isolierte Seiten entfernen

Wenn es auf Ihrer Webseite isolierte Seiten gibt, die von keiner anderen Seite verlinkt sind, wird es für Crawler schwieriger, diese zu crawlen. Wenn viele solcher Seiten vorhanden sind, könnte dies als „unübersichtliche Seitenstruktur“ bewertet werden, was sich negativ auf die SEO auswirken kann. Seien Sie daher vorsichtig.

Als Maßnahme kann es hilfreich sein, regelmäßig Tools wie Excel zu nutzen, um die Seitenverwaltung systematisch durchzuführen.

URL normalisieren

Durch die Normalisierung von URLs können Sie dem GoogleBot die URLs angeben, die gecrawlt werden sollen. Dies verbessert die Crawling-Effizienz.

Die URL-Normalisierung ist eine Maßnahme, um Google die korrekte URL darzulegen, wenn mehrere Seiten mit demselben Inhalt auf der Webseite existieren. Solche doppelten Seiten können durch folgende Situationen entstehen:

Es gibt zwei Methoden, um URLs zu normalisieren:

Die Crawling-Frequenz für eine Webseite erhöhen

Webseiten haben eine Crawling-Frequenz, was bedeutet, dass einige Seiten eher gecrawlt werden als andere. Im Allgemeinen neigen Seiten, die von Google gut bewertet werden dazu, eine höhere Crawling-Frequenz zu haben.

Um eine gute Bewertung von Google zu erhalten, ist die gesamte Qualität der Webseite entscheidend. Bemühen Sie sich, wertvolle und qualitativ hochwertige Inhalte zu erstellen, die von Google positiv bewertet werden.

Häufig gestellte Fragen zur Crawlbarkeit

Hier beantworten wir Ihnen einige der häufig gestellten Fragen zum Thema Crawlbarkeit.

Q: Sollte man Maßnahmen zur Verbesserung der Crawlbarkeit ergreifen?

Answer）Wenn Sie SEO für die Kundengewinnung berücksichtigen, sind solche Maßnahmen notwendig.

Maßnahmen zur Crawlbarkeit zielen darauf ab, die Indizierung zu fördern und die Kundengewinnung zu steigern. Wenn SEO berücksichtigt wird, sind diese Maßnahmen erforderlich.

Q: Was ist der Ursprung des Begriffs „Crawlbarkeit“?

Answer）Es handelt sich um eine Wortschöpfung, die sich aus „Crawl“ (Krabbeln) und „Ability“ (Fähigkeit) zusammensetzt.

Im weiteren Sinne bezeichnet Crawlbarkeit die Auffindbarkeit von Webseiten durch Crawler.

Q: Was bedeutet „Crawlbarkeit optimieren“?

Answer）Es geht darum, Maßnahmen zu ergreifen, damit Seiten leichter gecrawlt werden können.

Um in den Suchergebnissen von Google angezeigt zu werden, muss eine Seite nach der Veröffentlichung gecrawlt werden. Um dieses Crawlen zu fördern, ist es notwendig, die Struktur der Webseite oder Seite zu überprüfen.

Q: Welche Arten von Crawlern gibt es?

Answer）Neben GoogleBot gibt es eine Vielzahl anderer Crawler.

GoogleBot ist speziell für die Google-Suchmaschine zuständig. Andere Suchdienste haben jeweils eigene Crawler. Einige Beispiele für Crawler sind:

Fazit

Crawlbarkeit bezeichnet die Erreichbarkeit einer Webseite für Crawler. Durch die Optimierung der Seitenstruktur und interner Links wird eine Webseite so gestaltet, dass sie für den GoogleBot leichter zu crawlen ist. Nutzen Sie zunächst Tools wie die Google Search Console, um die Crawlbarkeit Ihrer Webseite zu überprüfen. Wenn Probleme auftreten, sollten die Ursachen identifiziert und behoben werden. Zudem erhöht die kontinuierliche Erstellung hochwertiger Inhalte die Crawlfrequenz.

Author Profile

Mr. Takeshi Amano, CEO of Admano Co., Ltd.

Mr. Takeshi Amano is a graduate of the Faculty of Law at Nihon University. With 12 years of experience working in the advertising agency industry, he discovered SEO and began his research during the early days of SEO. He self-taught and conducted experiments and verifications on over 100 websites. Using this expertise, he founded Admano Co., Ltd., which is currently in its 11th year of operation. Mr. Amano handles sales, SEO consulting, web analytics (holding the Google Analytics Individual Qualification certification), coding, and website development. The company has successfully managed SEO strategies for over 2000 websites to date.

Return to the top of Japan SEO