Indexierung

Warum das zählt

Zwischen dem Abruf einer Seite und ihrer Aufnahme in den Index liegt eine Entscheidung der Suchmaschine. Sie fällt häufiger negativ aus, als viele Betreiber erwarten. Google nimmt nicht alles auf, was es findet. Seiten ohne eigenständigen Wert und Seiten, die eine andere Seite nur wiederholen, bleiben draußen.

Die Folge ist eindeutig. Eine Seite, die nicht im Index steht, kann keine Position belegen, keine Klicks bekommen und keinen Umsatz erzeugen. Alle Arbeit an Text, Ladezeit und Verlinkung läuft an dieser Stelle ins Leere.

Für Sie heißt das: Die Zahl Ihrer Seiten sagt wenig aus. Entscheidend ist, wie viele davon aufgenommen wurden und ob es die richtigen sind. Google formuliert das Ziel in der Hilfe zur Search Console so, dass von jeder wichtigen Seite die kanonische Fassung im Index steht und Duplikate eben nicht.

Wie es funktioniert

Nach dem Abruf wird die Seite verarbeitet und mit dem vorhandenen Bestand verglichen. Google fasst Seiten mit ähnlichem Inhalt zu Gruppen zusammen und wählt daraus die repräsentativste Fassung als kanonische Seite aus. Ausgeliefert wird in aller Regel nur diese Fassung. Die übrigen Adressen der Gruppe behandelt Google als Alternativfassungen, die nur in bestimmten Zusammenhängen erscheinen, und führt sie in der Search Console unter den nicht indexierten Adressen.

Gegen eine Aufnahme sprechen im Wesentlichen drei Dinge: eine ausdrückliche Anweisung im Quelltext oder im HTTP-Kopf, ein Duplikat einer anderen Seite oder ein zu geringer eigenständiger Wert. Die folgende Übersicht zeigt, welches Signal was bewirkt und wo es steht.

Eine Kombination sorgt regelmäßig für Verwirrung. Wer eine Adresse in der robots.txt sperrt und gleichzeitig noindex setzt, erreicht das Gegenteil des Gewollten. Die Sperre verhindert den Abruf, dadurch wird die Anweisung nie gelesen, und die Adresse kann trotzdem im Index landen, wenn andere Seiten auf sie verweisen. Google schreibt dazu, dass eine Seite für die Wirkung von noindex nicht durch die robots.txt blockiert sein darf. Wer eine Seite zuverlässig draußen halten will, erlaubt also den Abruf und setzt eine der beiden Anweisungen:

<meta name="robots" content="noindex">

X-Robots-Tag: noindex

In der Praxis

Die Anlaufstelle für den Ist-Zustand ist der Bericht zur Seitenindexierung in der Google Search Console. Er trennt indexierte von nicht indexierten Adressen und nennt für jede nicht indexierte Adresse einen Grund. Für eine einzelne Adresse gibt die URL-Prüfung im selben Werkzeug Auskunft.

Vier Statusmeldungen erklären den Großteil der Fälle. Die Bezeichnungen lauten in der deutschen Oberfläche genau so:

Zwei Einschränkungen des Berichts sollten Sie kennen. Die Beispielliste je Grund ist auf 1.000 Zeilen begrenzt und zeigt daher eine Stichprobe, nicht alle betroffenen Adressen. Und nach einer Korrektur können Sie eine Überprüfung anfordern, die laut Google in der Regel etwa zwei Wochen dauert, manchmal auch deutlich länger. Planen Sie Relaunch- und Korrekturtermine mit diesem Zeitfenster, nicht mit Tagen.

Bei den beiden erstgenannten Meldungen ist die wirksame Reaktion selten technisch. Fünf Seiten, die ihr Thema vollständig behandeln, werden eher aufgenommen als zwanzig, die es streifen. Wer viele Seiten mit dem Status „Gecrawlt – zurzeit nicht indexiert“ sieht, hat meist ein Mengenproblem und kein Serverproblem.

Häufige Fehler

Sperre und noindex kombinieren. Die Sperre in der robots.txt verhindert, dass die Anweisung überhaupt gelesen wird. Die Seite bleibt dann unter Umständen im Index, nur ohne aussagekräftige Beschreibung.

noindex aus der Testphase vergessen. Viele Systeme setzen die Anweisung auf der Entwicklungsfassung automatisch. Bleibt sie nach dem Livegang stehen, ist die Seite unauffindbar. Ein Website-Relaunch gehört deshalb vor der Freigabe einmal komplett auf diese Anweisung geprüft.

Viele dünne Seiten anlegen. Seiten mit geringem eigenständigem Wert werden entweder nicht aufgenommen oder verwässern das Thema der Website. Thin Content ist eine der häufigsten Ursachen hinter der Meldung „Gecrawlt – zurzeit nicht indexiert“.

Die Sitemap für einen Anspruch halten. Eine Adresse in der XML-Sitemap ist ein Vorschlag zur Entdeckung, keine Zusage auf Aufnahme. Google weist ausdrücklich darauf hin, dass eine Sitemap die Indexierung ihrer Einträge nicht garantiert.

Einzelne Adressen immer wieder manuell einreichen. Das Anfordern der Indexierung ersetzt keine Ursachenbehebung. Wenn der Grund inhaltlich ist, ändert die erneute Einreichung nichts.

Abgrenzung

Indexierung folgt auf das Crawling und geht dem Ranking voraus. Crawling ist der Abruf, Indexierung die Aufnahme, Ranking die Sortierung im Ergebnis. Die drei Schritte werden gern in einen Topf geworfen, haben aber je eigene Ursachen für Probleme und je eigene Werkzeuge zur Prüfung. Eine Seite kann abgerufen und trotzdem nicht aufgenommen sein. Sie kann aufgenommen und trotzdem auf Position 60 stehen.

Für die Sichtbarkeit in KI-Antworten von Google gilt die Indexierung als Voraussetzung. Google nennt als Bedingung für AI Overviews und den KI-Modus, dass eine Seite indexiert und für die Anzeige mit einem Snippet zugelassen ist. Weitere technische Anforderungen gibt es laut Google nicht. Umgekehrt gilt: Wer noindex oder nosnippet setzt, schließt die Seite auch dort aus.

Bei KI-Systemen anderer Anbieter ist das Bild uneinheitlich. Manche greifen auf einen Suchindex zurück, dann gilt dieselbe Voraussetzung. Manche rufen eine Adresse im Moment der Anfrage direkt ab, etwa weil sie im Verlauf des Gesprächs genannt wurde. Eine nicht indexierte Seite kann in diesem zweiten Fall zitiert werden. Als Grundlage für planbare Sichtbarkeit taugt das nicht.