KI-Sichtbarkeit messen: so geht es belastbar

Warum Einzelabfragen in die Irre führen

Wer einmal ChatGPT nach der besten Agentur in seiner Stadt fragt und den eigenen Namen liest, hält das leicht für ein Ergebnis. Es ist keins.

Sprachmodelle erzeugen Antworten mit einem Zufallsanteil. Zwei identische Anfragen liefern unterschiedliche Formulierungen und oft unterschiedliche Nennungen. Dazu kommen Unterschiede je nach Konto, Sprache und Region. Und es macht einen Unterschied, ob das Modell die Antwort im Moment der Anfrage im Web verankert, also Grounding nutzt, oder allein aus dem Training antwortet.

Wie groß die Schwankung ist, hat eine Untersuchung von SparkToro und Gumshoe.ai vom 28. Januar 2026 gemessen. 600 Freiwillige stellten zwölf verschiedene Fragen an ChatGPT, Claude und Googles KI, jede davon vielfach wiederholt, insgesamt 2.961 Abfragen. Jede Antwort wurde in eine geordnete Markenliste übersetzt und mit den übrigen verglichen. Das Ergebnis: Die Wahrscheinlichkeit, bei zwei Durchläufen dieselbe Markenliste zu erhalten, liegt bei unter 1 zu 100.

Wichtiger ist die zweite Zahl aus derselben Veröffentlichung. In einem weiteren Teil wurden 42 unterschiedlich formulierte Fragen nach Kopfhörern gestellt, was 994 Antworten ergab. Über diese Antworten hinweg tauchten die starken Marken sehr wohl stabil auf: Bose, Sony, Sennheiser und Apple erschienen in 55 bis 77 Prozent der Fälle. Die einzelne Liste ist Zufall, die Häufigkeit über viele Listen ist es nicht. Genau daran setzt jede brauchbare Messung an.

Eine Untersuchung zum nicht deterministischen Verhalten von Sprachmodellen hat das sogar unter kontrollierten Bedingungen nachgewiesen: bei Temperatur 0, top-p 1, festem Startwert und identischer Technik, über fünf Modelle, acht Aufgaben und zehn Durchläufe. Gemessen wurden Genauigkeitsschwankungen von bis zu 15 Prozent und Abstände von bis zu 70 Prozent zwischen bestem und schlechtestem Durchlauf.

Das gilt in beide Richtungen: Eine einzelne Antwort ohne Ihre Nennung bedeutet ebenso wenig wie eine mit.

Die Methode: Prompt-Sets

Belastbar wird es mit einem festen Satz von Fragen, der über die Zeit gleich bleibt. Vier Schritte, immer in derselben Reihenfolge.

1. Fragen sammeln. Zwanzig bis fünfzig Formulierungen, die Ihre Kunden tatsächlich verwenden würden. Nicht Ihren Firmennamen, sondern Ihr Problem: „Wer kann in Oldenburg eine Website für Industrieunternehmen bauen“ statt „Speckmann Webdesign“. Die Namensabfrage prüft nur, ob das Modell Sie kennt, nicht ob es Sie empfiehlt. Nehmen Sie die Fragen aus Angebotsanfragen, aus Telefonnotizen und aus den Suchanfragen in Ihrer Search Console.
2. Systematisch abfragen. Jede Frage über mehrere Systeme: ChatGPT, Perplexity, die Google AI Overviews und den AI Mode. Die Unterschiede sind erheblich, weil die Systeme unterschiedliche Quellen bevorzugen. Jede Frage in jedem System mindestens dreimal, sonst messen Sie wieder eine Stichprobe von eins.
3. Auswerten. Gezählt wird der Anteil der Antworten mit Ihrer Nennung, welche Wettbewerber genannt werden und welche Quellen die Modelle zitieren. Die dritte Zahl ist die wertvollste, denn sie zeigt, wo Sie vorkommen müssten.
4. Wiederholen. Monatlich, mit demselben Satz und derselben Anzahl Durchläufe. Erst die Veränderung über die Zeit ist eine Aussage.

Rechnen Sie den Umfang vorher aus, sonst unterschätzen Sie ihn. Dreißig Fragen, drei Antwortsysteme und drei Durchläufe je Frage ergeben 270 Antworten pro Messung. Jede davon muss erfasst, auf Nennungen geprüft und mit ihren Quellen abgelegt werden. Das ist die Größenordnung, ab der Handarbeit aufhört und Automatisierung anfängt.

Wenn Sie kürzen müssen, kürzen Sie bei den Fragen, nicht bei den Durchläufen. Zehn Fragen mit je drei Durchläufen sind aussagekräftiger als dreißig Fragen mit je einem.

Was Google selbst an Daten liefert

Bevor Sie ein Werkzeug kaufen, sehen Sie in die Search Console. Google hat dort einen eigenen Bericht für generative KI eingeführt. Er weist aus, wie oft Links auf Ihre Seiten in den KI-Funktionen der Google-Suche eingeblendet wurden.

Laut der Dokumentation zum Bericht über generative KI deckt er AI Overviews und den AI Mode ab. Experimente aus den Search Labs bleiben ausgenommen, weil sie noch in Entwicklung sind. Der Bericht liefert allerdings nur eine einzige Kennzahl, nämlich Impressionen. Rechnen Sie außerdem damit, dass Sie ihn noch gar nicht sehen: Google stellt den Bericht vorerst nur einem Teil der Websiteinhaber zur Verfügung, solange er getestet wird.

Der Bericht ist damit ein guter Verlaufsindikator und keine vollständige Messung. Er beantwortet die Frage „werden meine Seiten in Googles KI-Antworten überhaupt eingeblendet“, aber nicht die Frage „bei welchen Fragen werde ich als Anbieter genannt“.

Eine Erwartung sollten Sie dabei gleich fallen lassen. Google schreibt in der Dokumentation zu KI-Funktionen in der Suche ausdrücklich, dass es für AI Overviews und den AI Mode keine zusätzlichen Anforderungen und keine gesonderte Optimierung gibt. Eine Seite muss indexiert und für ein Snippet zugelassen sein, mehr nicht. Neue maschinenlesbare Dateien oder eigenes Markup verlangt Google dafür nicht. Umgekehrt heißt das: Wer nosnippet, data-nosnippet oder ein knappes max-snippet setzt, schließt sich von diesen Einblendungen selbst aus. Prüfen Sie das, bevor Sie über schlechte Werte rätseln.

Welche Werkzeuge es gibt

Der Markt für Messwerkzeuge ist jung und unübersichtlich. Grob gibt es drei Gruppen.

Etablierte SEO-Anbieter mit KI-Modul. SISTRIX etwa bietet eine Auswertung, die zeigt, bei welchen Anfragen eine Marke oder Domain in KI-Antworten auftaucht, aufgeschlüsselt nach Modell und Land. Der Vorteil liegt in der Datenbasis und darin, dass klassische Sichtbarkeit und KI-Nennungen nebeneinander stehen.

Spezialisierte Werkzeuge. Eine Reihe neuer Anbieter misst ausschließlich KI-Sichtbarkeit, oft mit eigenen Prompt-Sets. Sie sind meist flexibler bei der Definition der Fragen, ihre historischen Daten reichen aber selten weit zurück.

Eigene Messung. Über die Programmierschnittstellen der Anbieter lässt sich ein Prompt-Set automatisiert abfragen und protokollieren. Das ist aufwendiger, dafür haben Sie die volle Kontrolle über die Fragen. Zwei Punkte sollten Sie dabei einplanen: Die Abfragen kosten pro Anfrage Geld, und die Antwort über eine Schnittstelle ist nicht zwingend dieselbe wie die in der Weboberfläche, weil dort andere Modellversionen und Werkzeuge im Einsatz sein können.

Für die meisten Unternehmen ist die erste Gruppe der pragmatische Einstieg.

Die drei Werkzeuggruppen im Überblick

Wie ein Messprotokoll aussieht

Welches Werkzeug Sie auch wählen, am Ende brauchen Sie je Antwort einen Datensatz mit immer denselben Feldern. Wer das von Anfang an sauber anlegt, kann ein Jahr später noch vergleichen. Wer es nachträglich vereinheitlichen muss, fängt praktisch von vorn an.

Ein einzelner Eintrag kann so aussehen:

{
  "datum": "2026-08-14",
  "frage_id": 17,
  "frage": "Wer baut Websites für Maschinenbauer im Raum Oldenburg?",
  "system": "perplexity",
  "durchlauf": 2,
  "genannt": true,
  "wettbewerber": ["Anbieter A", "Anbieter B", "Anbieter C"],
  "quellen": [
    "https://example.de/vergleich-agenturen",
    "https://example.de/branchenverzeichnis"
  ]
}

Vier Dinge sind daran wichtig. Die frage_id bleibt über Monate stabil, auch wenn Sie den Wortlaut später einmal korrigieren. Der durchlauf macht sichtbar, dass mehrfach gefragt wurde. genannt ist ein einfacher Wahrheitswert und keine Note, denn alles andere lässt sich nicht sauber vergleichen. Und quellen ist das Feld, aus dem später die eigentliche Arbeitsliste entsteht.

Bei einer eigenen Messung müssen Sie die Quellen nicht aus dem Text herauslesen. Die Dokumentation der Sonar-Schnittstelle von Perplexity beschreibt, dass jede Antwort ein Feld search_results mitliefert, mit Titel, URL, Datum und Textausschnitt der verwendeten Seiten. Das ist genau die Liste, die Sie für die Kennzahl „zitierte Quellen“ brauchen, ohne Nachbearbeitung.

Speichern Sie zusätzlich den vollständigen Antworttext. Sie brauchen ihn, wenn Sie später wissen wollen, in welchem Zusammenhang Ihr Name gefallen ist.

Welche Kennzahlen sinnvoll sind

Fünf Werte haben sich als brauchbar erwiesen.

Nennungsquote. Anteil der Antworten, in denen Sie vorkommen, bezogen auf das gesamte Prompt-Set und alle Durchläufe. Die wichtigste Einzelzahl.

Nennungsquote je System. Getrennt für ChatGPT, Perplexity und Google, weil die Systeme unterschiedliche Quellen bevorzugen. Wer nur bei einem auftaucht, hat ein Quellenproblem.

Wettbewerbsanteil. Wer wird stattdessen genannt und wie oft? Daraus ergibt sich, ob es überhaupt einen etablierten Anbieterkreis gibt und wie weit Sie davon entfernt sind. Der Eintrag zum Share of Model beschreibt, wie sich dieser Anteil sauber gegen den Wettbewerb rechnen lässt.

Zitierte Quellen. Aus welchen Seiten schöpfen die Modelle bei Ihren Fragen? Das ist die konkreteste Arbeitsanweisung, die es gibt: Wenn dieselben drei Vergleichslisten immer wieder auftauchen, wissen Sie, wo Sie vorkommen sollten.

Eigene Quellenquote. Anteil der Antworten, in denen nicht nur Ihr Name fällt, sondern Ihre eigene Website als Quelle verlinkt wird. Diese Zahl liegt fast immer deutlich unter der Nennungsquote und sagt etwas über die Zitierfähigkeit Ihrer Inhalte aus.

Was Sie nicht messen sollten, ist die Position innerhalb einer Antwort. Sie schwankt zu stark, um daraus etwas abzuleiten. Die Autoren der SparkToro-Untersuchung ziehen dieselbe Grenze: Ein Sichtbarkeitsanteil über Dutzende bis Hunderte Fragen mit mehreren Durchläufen sei eine vernünftige Kennzahl, eine angebliche Rangposition in der KI dagegen nicht.

Häufige Fehler bei der Messung

Fünf Fehler sehe ich in Projekten immer wieder.

Den Fragensatz laufend ändern. Jede Änderung setzt die Zeitreihe zurück. Sammeln Sie neue Fragen in einem separaten Block und nehmen Sie sie erst zum Jahreswechsel dazu, mit klarer Notiz im Protokoll.

Im eigenen, eingeloggten Konto messen. Verlauf, gespeicherte Angaben und personalisierte Einstellungen verzerren das Ergebnis zu Ihren Gunsten. Messen Sie ohne Anmeldung oder über eine Schnittstelle.

Nennung mit Empfehlung verwechseln. Ihr Name kann auch in einer Aufzählung stehen, die er besser nicht zieren würde. Deshalb gehört der Antworttext ins Protokoll, nicht nur der Wahrheitswert.

Falsche Angaben übersehen. Modelle geben Leistungen, Standorte oder Ansprechpartner gelegentlich falsch wieder, ein Fall von Halluzination. Das ist ein eigener Befund und wichtiger als jede Quote, weil falsche Angaben aktiv Schaden anrichten.

Zu früh Schlüsse ziehen. Zwei Messpunkte sind kein Trend. Rechnen Sie mit einem halben Jahr, bevor Sie beurteilen, ob eine Maßnahme aus der Generative Engine Optimization gewirkt hat.