robots.txt

Warum das zählt

Die robots.txt ist meist wenige Zeilen lang und entscheidet trotzdem darüber, ob eine Website in Suchergebnissen und KI-Antworten vorkommt. Ein falsch gesetzter Eintrag kann den Abruf der gesamten Website unterbinden. Weil niemand die Datei im Alltag ansieht, bleibt so ein Fehler oft monatelang bestehen.

Wie empfindlich Suchmaschinen an dieser Stelle reagieren, zeigt Googles Umgang mit Fehlern. Liefert die Adresse einen 4xx-Fehler, geht Google davon aus, dass es keine Einschränkungen gibt, und ruft alles ab. Liefert der Server dagegen einen 5xx-Fehler, stoppt Google das Crawling zunächst für zwölf Stunden und arbeitet danach bis zu 30 Tage mit der zuletzt gespeicherten Fassung. Ein Serverproblem an dieser einen Adresse kann also den Abruf einer ganzen Website ausbremsen.

Seit KI-Systeme eigene Abrufprogramme einsetzen, ist die Datei zusätzlich die Stelle, an der Betreiber über die Nutzung ihrer Inhalte durch diese Systeme entscheiden. Sie regelt damit nicht mehr nur das Crawling durch klassische Suchmaschinen.

Wie es funktioniert

Die Datei liegt unter /robots.txt auf der obersten Ebene einer Domain und besteht aus Blöcken. Jeder Block spricht ein oder mehrere Abrufprogramme an und weist ihnen Regeln zu.

User-agent: *
Disallow: /intern/
Allow: /intern/preisliste.pdf

User-agent: GPTBot
Disallow: /

Sitemap: https://ihre-domain.de/sitemap.xml

Vier Punkte sorgen in der Praxis regelmäßig für Missverständnisse.

Der längste passende Eintrag gewinnt. Der Standard verlangt, dass die spezifischste Regel angewendet wird, also die mit den meisten Zeichen. Im Beispiel bleibt der Ordner /intern/ gesperrt, die einzelne Datei darin ist erlaubt.

Ein namentlich genannter Block ersetzt den allgemeinen. GPTBot liest im Beispiel nur seinen eigenen Block. Die Regeln unter User-agent: * gelten für dieses Programm dann nicht mehr, auch nicht ergänzend.

Eine Sperre ist kein Ausschluss aus dem Index. Eine per Disallow gesperrte Seite kann trotzdem in den Ergebnissen erscheinen, wenn andere Websites auf sie verlinken. Wer eine Seite sicher heraushalten will, setzt <meta name="robots" content="noindex"> in den Kopf der Seite und muss den Abruf erlauben, damit diese Anweisung überhaupt gelesen wird.

Die Datei ist öffentlich und nicht erzwingbar. Jeder kann sie im Browser aufrufen. Wer dort einen internen Bereich sperrt, weist Fremde geradezu darauf hin. Seriöse Anbieter halten sich an die Regeln, andere ignorieren sie.

Für die technischen Rahmenbedingungen gelten feste Werte:

In der Praxis

Für die meisten Unternehmenswebsites ist die richtige robots.txt kurz: alles erlauben, Sitemap angeben, fertig. Umfangreiche Regelwerke entstehen meist aus Unsicherheit und richten häufiger Schaden an als Nutzen.

Bei den KI-Programmen lohnt dagegen eine bewusste Entscheidung. Entscheidend ist die Unterscheidung zwischen Programmen, die Trainingsmaterial sammeln, und solchen, die Antworten und Suchergebnisse zusammenstellen. Wer nur GPTBot sperrt, verhindert die Nutzung als Trainingsmaterial, bleibt in der Suche innerhalb von ChatGPT aber sichtbar. Die Programme mit der größten Bedeutung im deutschsprachigen Markt:

Die Anbieter dokumentieren diese Namen selbst: OpenAI in der Übersicht seiner Abrufprogramme, Anthropic in einem Hilfeartikel zum Sperren von ClaudeBot und Perplexity in seiner Dokumentation zu PerplexityBot. Perplexity weist dort darauf hin, dass der Abruf auf Zuruf eines Nutzers über Perplexity-User die Regeln der robots.txt in der Regel nicht beachtet.

Ein verbreitetes Missverständnis betrifft Google-Extended. Google schreibt in der Übersicht seiner Abrufprogramme ausdrücklich, dass Google-Extended weder die Aufnahme in die Google-Suche beeinflusst noch als Ranking-Signal dient. Eine Sperre schließt eine Website deshalb nicht aus einer AI Overview aus, denn diese Antworten stützen sich auf den normalen Suchindex. Wer dort nicht als Quelle erscheinen will, muss die Vorschau der Seite einschränken oder sie aus dem Index nehmen.

Nach jeder Änderung gehört die Datei geprüft, in dieser Reihenfolge:

Der wichtigste Termin für diese Prüfung ist der Tag nach einem Relaunch. Dann steht die Frage an, ob die Datei aus der Testumgebung versehentlich mit auf das Livesystem gewandert ist.

Häufige Fehler

Disallow: / aus der Testumgebung. Sperrt die gesamte Website für alle Programme. Der Sichtbarkeitsverlust setzt innerhalb weniger Tage ein, die Erholung dauert deutlich länger.

Skripte, Bilder und Stilangaben sperren. Suchmaschinen laden diese Dateien, um die Seite so darzustellen, wie ein Besucher sie sieht. Sind sie gesperrt, wird die Seite unvollständig bewertet.

Sperren statt noindex verwenden. Die Seite erscheint dann ohne brauchbare Beschreibung trotzdem in den Ergebnissen, weil die Anweisung im Seitenkopf mangels Abruf nie gelesen wird.

Sitemap-Zeile mit verkürztem Pfad. Der Eintrag muss die vollständige Adresse enthalten. Ein Eintrag wie Sitemap: /sitemap.xml ist ungültig und wird übergangen.

KI-Programme unbewusst sperren. Manche Hoster, Sicherheitsdienste und Content-Delivery-Netze, also vorgelagerte Auslieferungsdienste, blockieren diese Programme in der Voreinstellung. Der Betreiber merkt davon nichts, weil die Sperre nicht in der robots.txt steht.

Abgrenzung

Die robots.txt ist nicht die llms.txt. Die robots.txt steuert den Zugang und wird von allen seriösen Programmen ausgewertet. Die llms.txt beschreibt Inhalte für KI-Systeme und wird von den großen Anbietern bisher kaum beachtet.

Sie ist auch keine XML-Sitemap. Die Sitemap schlägt Adressen zum Abruf vor, die robots.txt regelt, was abgerufen werden darf. Beide arbeiten zusammen, denn die Sitemap wird üblicherweise in der robots.txt genannt.

Und sie ersetzt nicht die Robots-Anweisung im Seitenkopf. Die robots.txt entscheidet über den Abruf, die Anweisung noindex über die Aufnahme in den Index. Beides gleichzeitig zu setzen, hebt die Wirkung auf: Was nicht abgerufen werden darf, kann auch nicht auf ein noindex geprüft werden.