Crawling

Warum das zählt

Crawling ist die Voraussetzung für alles Weitere. Eine hervorragende Seite, die nicht abgerufen werden kann, existiert für Suchmaschinen und Sprachmodelle nicht. Google nennt das abrufende Programm Googlebot.

Längst geht es nicht mehr nur um Suchmaschinen. Auch die Anbieter von KI-Systemen schicken eigene Programme durchs Netz. Sie tragen unterschiedliche Kennungen, und jede Kennung hat eine andere Aufgabe. Das ist der entscheidende Punkt: Eine Sperre wirkt nicht pauschal, sondern genau auf den Zweck des jeweiligen Programms. Wer den Trainings-Crawler von OpenAI sperrt, verschwindet damit nicht aus der Suche in ChatGPT, denn dafür ist ein anderes Programm zuständig.

Wer in KI-Antworten vorkommen will, muss also die dafür zuständigen Programme durchlassen. Das Modelltraining lässt sich davon unabhängig regeln.

Wie es funktioniert

Der Ablauf folgt vier Schritten, die fortlaufend wiederholt werden.

Adressen sammeln. Aus bereits bekannten Seiten, aus Verweisen anderer Websites und aus der eingereichten XML-Sitemap entsteht eine Liste von Adressen.

Regeln prüfen. Vor dem Abruf wird die robots.txt gelesen, also die Steuerdatei im Wurzelverzeichnis der Domain. Was dort gesperrt ist, wird nicht abgerufen.

Abrufen. Die Seite wird geladen. Google rendert die Seite dabei zusätzlich und führt gefundenes JavaScript in einer aktuellen Chrome-Version aus, ähnlich wie ein Browser. Dieser Zusatzschritt kostet Zeit und Rechenleistung.

Auswerten. Aus der abgerufenen Seite werden Inhalte und Verweise gelesen. Die gefundenen Verweise gehen zurück in die Adressliste.

Wie viel abgerufen wird, ergibt sich aus zwei Größen. Die erste ist das Kapazitätslimit: Antwortet Ihr Server schnell und fehlerfrei, steigt es. Häufen sich Serverfehler der 5xx-Reihe oder der Statuscode 429 für zu viele Anfragen, senkt Google das Limit. Die zweite Größe ist die Nachfrage, die sich aus dem vermuteten Umfang der Website, ihrer Beliebtheit und dem Alter der bekannten Fassungen speist. Google weist ausdrücklich darauf hin, dass eine hohe Nachfrage eines Crawlers die verfügbare Kapazität für andere verringern kann.

Gesteuert wird der Zugriff über die robots.txt. Ein Block je Kennung, darunter die Regel:

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /

Dieses Beispiel schließt die Inhalte vom Modelltraining bei OpenAI aus, lässt die Suche in ChatGPT aber ausdrücklich zu.

In der Praxis

Die folgenden Kennungen sind für Unternehmen im deutschsprachigen Raum die wichtigsten. Sie stammen aus der Dokumentation von OpenAI und Anthropic.

Ein Unterschied ist dabei wichtig: Anthropic erklärt für alle eigenen Programme, dass sie die Sperrvermerke der robots.txt beachten. OpenAI schränkt das für ChatGPT-User ausdrücklich ein, weil der Abruf von einem Menschen ausgelöst wird. Eine Sperre ist dort also kein verlässlicher Riegel. Wer bestimmte Inhalte sicher zurückhalten muss, braucht dafür eine Zugangssperre auf dem Server, keine Zeile in der robots.txt.

Ob Ihre Seiten erreichbar sind, prüfen Sie in vier Schritten, am besten in dieser Reihenfolge.

Erstens die robots.txt aufrufen, indem Sie /robots.txt an Ihre Domain hängen. Steht dort ein Disallow: / ohne Einschränkung, ist die gesamte Website für das genannte Programm gesperrt. Das ist in zwei Minuten geklärt und der häufigste Grund für einen Totalausfall.

Zweitens eine einzelne Adresse in der Search Console prüfen. Die URL-Prüfung sagt Ihnen im Klartext, ob der Abruf zulässig ist und wie Google die Seite gerendert sieht. Weicht die gerenderte Fassung stark vom sichtbaren Inhalt ab, fehlt etwas im ausgelieferten Quelltext.

Drittens die Crawling-Statistiken der Search Console öffnen. Sie zeigen die Zahl der Abrufe über die Zeit, die durchschnittliche Antwortzeit des Servers und die aufgetretenen Fehler. Ein gesundes Bild besteht überwiegend aus dem Statuscode 200 und einer stabilen Antwortzeit.

Viertens die Serverprotokolle auswerten. Dort steht, welche Kennung wann welche Adresse abgerufen hat. Das ist die ehrlichste verfügbare Datenquelle und die einzige, die auch die Programme der KI-Anbieter sichtbar macht. Wie sich daraus eine belastbare Messung bauen lässt, steht im Ratgeber zum Messen der KI-Sichtbarkeit.

Ein Punkt wird dabei regelmäßig unterschätzt: Inhalte, die erst im Browser durch Skripte nachgeladen werden, sind für viele Programme nicht vorhanden. Google rendert nach eigener Angabe, für die Crawler der KI-Anbieter ist ein solcher Rendering-Schritt nicht dokumentiert. Wichtige Inhalte gehören deshalb in den ausgelieferten Quelltext.

Für kleinere Websites ist die Abrufmenge selten das Problem. Google richtet seinen Leitfaden zum Abrufbudget an drei Arten von Websites: an solche mit mehr als einer Million eigenständigen Seiten und etwa wöchentlich wechselnden Inhalten, an solche mit mehr als 10.000 eigenständigen Seiten und täglich wechselnden Inhalten und an solche, bei denen ein großer Teil der Adressen in der Search Console unter „Gefunden, zurzeit nicht indexiert“ geführt wird. Die Zahlen bezeichnet Google ausdrücklich als grobe Schätzung. Kritisch wird es bei Shops und Portalen mit vielen Filterkombinationen, weil dort tausende beinahe identische Adressen entstehen und die Abrufe in Varianten versickern, statt auf die wichtigen Seiten zu entfallen.

Häufige Fehler

Versehentliche Sperren nach dem Relaunch. Die Sperre aus der Testumgebung geht mit auf die Live-Website. Ein Klassiker mit erheblichen Folgen, den die Checkliste im Ratgeber zum Website-Relaunch mit SEO abfängt.

Alle KI-Crawler pauschal aussperren. Ein einzelnes Disallow: / für jede Kennung trifft die Suche genauso wie das Training. Die Entscheidung sollte je Kennung fallen.

Wichtiges nur per Skript ausliefern. Was nicht im Quelltext steht, sehen viele Programme nicht.

Verwaiste Seiten. Eine Seite, auf die von nirgends verwiesen wird, wird nur über die Sitemap gefunden, wenn überhaupt.

Langsamer oder fehlerhafter Server. Antwortet der Server träge oder liefert er gehäuft Serverfehler, senkt Google die Zahl der Abrufe.

Abgrenzung

Crawling ist nicht dasselbe wie Indexierung. Abgerufen heißt nicht aufgenommen. Eine Seite kann regelmäßig besucht und trotzdem nicht in den Index übernommen werden, etwa weil sie als Thin Content gilt oder als Duplikat einer anderen Adresse behandelt wird.

Crawling ist auch nicht dasselbe wie Ranking. Auch eine indexierte Seite muss noch gegen alle anderen Seiten zum selben Thema bestehen.

Und eine Sperre in der robots.txt ist nicht dasselbe wie ein noindex. Die robots.txt verhindert den Abruf, nicht die Aufnahme in den Index. Eine gesperrte Adresse kann trotzdem im Index landen, wenn andere Websites auf sie verweisen. Wer eine Seite sicher aus dem Index halten will, muss sie abrufbar lassen und mit einem noindex kennzeichnen.