Warum Einzelabfragen in die Irre führen
Wer einmal ChatGPT nach der besten Agentur in seiner Stadt fragt und den eigenen Namen liest, hält das leicht für ein Ergebnis. Es ist keins.
Sprachmodelle erzeugen Antworten mit einem Zufallsanteil. Zwei identische Anfragen liefern unterschiedliche Formulierungen und oft unterschiedliche Nennungen. Dazu kommen Unterschiede je nach Konto, Sprache, Region und ob das Modell im Moment der Anfrage das Web durchsucht oder aus dem Training antwortet.
Eine Studie von SparkToro und Gumshoe aus dem Januar 2026 hat systematisch gezeigt, dass Antworten von KI-Systemen auf identische Fragen erheblich schwanken. Wer daraus einzelne Stichproben zieht, misst Rauschen.
Eine Untersuchung zum nicht deterministischen Verhalten von Sprachmodellen hat das sogar unter kontrollierten Bedingungen nachgewiesen: bei Temperatur 0, top-p 1, festem Startwert und identischer Technik, über fünf Modelle, acht Aufgaben und zehn Durchläufe. Gemessen wurden Genauigkeitsschwankungen von bis zu 15 Prozent und Abstände von bis zu 70 Prozent zwischen bestem und schlechtestem Durchlauf.
Das gilt in beide Richtungen: Eine einzelne Antwort ohne Ihre Nennung bedeutet ebenso wenig wie eine mit.
Die Methode: Prompt-Sets
Belastbar wird es mit einem festen Satz von Fragen, der über Zeit gleich bleibt.
Schritt eins: Fragen sammeln. Zwanzig bis fünfzig Formulierungen, die Ihre Kunden tatsächlich verwenden würden. Nicht Ihren Firmennamen, sondern Ihr Problem: „Wer kann in Oldenburg eine Website für Industrieunternehmen bauen“ statt „Speckmann Webdesign“. Die Namensabfrage prüft nur, ob das Modell Sie kennt, nicht ob es Sie empfiehlt.
Schritt zwei: Systematisch abfragen. Jede Frage über mehrere Modelle: ChatGPT, Perplexity, Google AI Overviews, Google AI Mode. Die Unterschiede sind erheblich, weil die Systeme unterschiedliche Quellen bevorzugen.
Schritt drei: Auswerten. Gezählt wird der Anteil der Antworten mit Ihrer Nennung, welche Wettbewerber genannt werden und welche Quellen die Modelle zitieren. Die dritte Zahl ist die wertvollste: Sie zeigt, wo Sie vorkommen müssten.
Schritt vier: Wiederholen. Monatlich, mit demselben Satz. Erst die Veränderung über Zeit ist eine Aussage.
Welche Werkzeuge es gibt
Der Markt für Messwerkzeuge ist jung und unübersichtlich. Grob gibt es drei Gruppen.
Etablierte SEO-Anbieter mit KI-Modul. SISTRIX etwa bietet eine Auswertung, die zeigt, bei welchen Anfragen eine Marke oder Domain in KI-Antworten auftaucht, aufgeschlüsselt nach Modell und Land. Der Vorteil liegt in der Datenbasis und darin, dass klassische Sichtbarkeit und KI-Nennungen nebeneinander stehen.
Spezialisierte Werkzeuge. Eine Reihe neuer Anbieter misst ausschließlich KI-Sichtbarkeit, oft mit eigenen Prompt-Sets. Sie sind meist flexibler bei der Definition der Fragen, ihre historischen Daten reichen aber selten weit zurück.
Eigene Messung. Über die Programmierschnittstellen der Anbieter lässt sich ein Prompt-Set automatisiert abfragen und protokollieren. Das ist aufwendiger, dafür haben Sie die volle Kontrolle über die Fragen.
Für die meisten Unternehmen ist die erste Gruppe der pragmatische Einstieg.
Die drei Werkzeuggruppen im Überblick
| Werkzeuggruppe | Stärke | Schwäche | Geeignet für |
|---|---|---|---|
| SEO-Anbieter mit KI-Modul | Datenbasis, SEO und KI nebeneinander | Fragen liegen weitgehend fest | Einstieg und laufenden Betrieb |
| Spezialisierte KI-Werkzeuge | Fragen frei bestimmbar | Wenig Vergangenheitsdaten | Genauere Einzelanalysen |
| Eigene Messung über Schnittstellen | Volle Kontrolle | Aufwand und Pflege | Agenturen und eigene Teams |
Welche Kennzahlen sinnvoll sind
Vier Werte haben sich als brauchbar erwiesen.
Nennungsquote. Anteil der Antworten, in denen Sie vorkommen, bezogen auf das gesamte Prompt-Set. Die wichtigste Einzelzahl.
Nennungsquote je Modell. Getrennt für ChatGPT, Perplexity und Google, weil die Systeme unterschiedliche Quellen bevorzugen. Wer nur bei einem auftaucht, hat ein Quellenproblem.
Wettbewerbsanteil. Wer wird stattdessen genannt und wie oft? Daraus ergibt sich, ob es überhaupt einen etablierten Anbieterkreis gibt.
Zitierte Quellen. Aus welchen Seiten schöpfen die Modelle bei Ihren Fragen? Das ist die konkreteste Arbeitsanweisung, die es gibt: Wenn dieselben drei Vergleichslisten immer wieder auftauchen, wissen Sie, wo Sie vorkommen sollten.
Was Sie nicht messen sollten, ist die Position innerhalb einer Antwort. Sie schwankt zu stark, um daraus etwas abzuleiten.
Geschrieben von
Marcel Speckmann
Geschäftsführer der Speckmann Webdesign GmbH in Oldenburg. Ich arbeite an Suchmaschinenoptimierung, KI-Sichtbarkeit und den Websites, die dafür die Grundlage sind. Was hier steht, stammt aus laufenden Projekten, nicht aus Lehrbüchern.
Dazu passt
Die Messung ist der erste Schritt unserer Arbeit an KI-Sichtbarkeit. Was danach kommt, steht auf der Leistungsseite.