Retrieval Augmented Generation (RAG)

Warum das zählt

Retrieval Augmented Generation ist der Grund, warum eine Unternehmenswebsite für KI-Antworten überhaupt eine Rolle spielt. Ein Sprachmodell ohne Abruf gibt nur wieder, was zum Zeitpunkt des Trainings in seinen Daten stand. Ein Modell mit Abruf kann eine Seite verwenden, die gestern online ging.

Daraus folgt: Sie müssen nicht in den Trainingsdaten vorkommen, um genannt zu werden. Es genügt, im Moment der Anfrage auffindbar und verwertbar zu sein. Google beschreibt für die eigenen KI-Oberflächen ausdrücklich, dass dieselben Grundlagen wie für die klassische Suche gelten. Wörtlich heißt es dort, es gebe keine zusätzlichen Anforderungen und keine besonderen Optimierungen, um in einem AI Overview oder im AI Mode zu erscheinen.

KI-Sichtbarkeit ist damit eine beeinflussbare Größe. Sie hängt daran, ob Ihre Seiten abgerufen werden dürfen und ob der abgerufene Text als Ausschnitt verwendbar ist.

Wie es funktioniert

Der Ablauf besteht aus drei Schritten, die in Sekundenbruchteilen hintereinander laufen.

Abruf. Aus der Anfrage wird eine Suche gebildet. Das System durchsucht eine Datenquelle und holt die Textstellen, die am besten passen. Firmeninterne Systeme nutzen dafür meist Einbettungen, also Zahlenreihen, die die Bedeutung eines Textstücks abbilden. Die KI-Oberflächen der Suchmaschinen greifen auf ihren Suchindex zu.

Anreicherung. Die gefundenen Textstellen werden dem Modell zusammen mit der ursprünglichen Frage übergeben. Sie bilden den Kontext, aus dem die Antwort entstehen soll. In diesen Kontext passt nur eine begrenzte Menge Text. Es kommt deshalb nicht auf die Länge Ihrer Seite an, sondern auf die Qualität der einzelnen Stelle.

Erzeugung. Das Modell formuliert die Antwort und stützt sich dabei auf die übergebenen Stellen. Bei den bekannten Systemen werden die verwendeten Quellen als Verweise ausgewiesen. Das senkt das Risiko einer Halluzination, also einer frei erfundenen Aussage. Beseitigt ist es nicht, denn das Modell kann eine korrekte Quelle falsch zusammenfassen.

Entscheidend ist der erste Schritt. Was dort nicht gefunden wird, kann in der Antwort nicht vorkommen. Und gefunden wird nicht eine ganze Seite, sondern ein Ausschnitt daraus. Wie diese Ausschnitte entstehen, beschreibt der Eintrag zum Chunking.

Der zweite Hebel liegt im dritten Schritt. Eine klare Aussage im abgerufenen Text gibt ein Modell eher wieder als eine, die es sich aus mehreren Halbsätzen zusammensetzen müsste. Dort setzt Zitierfähigkeit an.

In der Praxis

Für die eigene Website heißt Retrieval Augmented Generation zweierlei: Die Seite muss abrufbar sein, und der Text muss in Ausschnitten funktionieren. Prüfen lässt sich das in vier Schritten.

Erstens die Zugriffsregeln. Rufen Sie Ihre robots.txt auf, die Datei unter ihre-domain.de/robots.txt, mit der Sie das Crawling steuern. Eine Zeile Disallow: / unterhalb einer Kennung sperrt dieses Programm für die ganze Website, ein Pfad hinter Disallow: nur für den genannten Bereich. Die Betreiber trennen dabei Programme für Trainingsdaten von Programmen für die Suche.

Die Trennung ist folgenreich. In der Dokumentation zu den eigenen Programmen schreibt OpenAI, dass Seiten ohne Freigabe für den OAI-SearchBot in den Suchantworten von ChatGPT nicht gezeigt werden. Eine Sperre für GPTBot betrifft dagegen nur das Trainingsmaterial. Ein Regelsatz, der die Suche zulässt und das Training ausschließt, sieht so aus:

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

Zweitens die Serverprotokolle. Suchen Sie in den Zugriffsprotokollen Ihres Servers nach den Kennungen aus der Tabelle. Treffer belegen einen Abruf und zeigen Datum und Adresse. Bleiben sie aus, obwohl nichts gesperrt ist, ist die Seite für diese Systeme praktisch unsichtbar.

Drittens der Quelltext. Öffnen Sie eine Seite über „Seitenquelltext anzeigen“ und suchen Sie darin einen Satz, der im Browser sichtbar ist. Finden Sie ihn nicht, wird der Text erst durch ein Skript nachgeladen. Für viele Abrufsysteme existiert er dann nicht.

Viertens die Ausschnitte. Lesen Sie jeden Abschnitt einzeln, ohne den Rest der Seite. Ein Abschnitt, der mit „Wie im vorigen Kapitel beschrieben“ beginnt, ist als Ausschnitt wertlos. Ein Abschnitt, dessen erster Satz die Aussage trägt, ist verwertbar. Das ist das Ziel.

Für firmeninterne Systeme, etwa ein Modell auf der eigenen Produktdokumentation, gelten dieselben Anforderungen an die Texte.

Häufige Fehler

Crawler unbeabsichtigt sperren. Eine pauschale Sperre in der robots.txt, die bei einem Relaunch aus der Testumgebung übernommen wird, nimmt Sie aus dem Abruf und damit aus allen Antworten.

Google-Extended für einen Hebel auf AI Overviews halten. Laut der Übersicht der Google-Crawler hat Google-Extended keinen eigenen Abrufer, sondern ist ein reines Steuertoken. Es beeinflusst weder die Aufnahme in die Google-Suche noch das Ranking. Wer es freigibt oder sperrt, ändert an der Sichtbarkeit in AI Overviews nichts.

Inhalte erst durch Skripte laden. Texte, die im Quelltext nicht stehen und erst im Browser entstehen, sind für viele Abrufsysteme nicht vorhanden.

Wichtiges in Dateien auslagern. Angaben, die nur in einem PDF stehen, sind schlechter verwertbar als dieselben Angaben auf einer Seite. Der Beitrag zu Produktdaten aus PDFs geht darauf ein.

Abschnitte ohne eigenen Halt. Wenn jeder Absatz auf den vorigen verweist, funktioniert kein Ausschnitt für sich allein.

Abgrenzung

Retrieval Augmented Generation ist nicht dasselbe wie das Training eines Modells. Beim Training werden Muster dauerhaft in die Gewichte geschrieben, beim Abruf steht Material nur für die eine Antwort bereit. Änderungen an Ihrer Website wirken deshalb auf den Abruf schnell, auf das Training erst mit der nächsten Modellgeneration.

RAG ist auch keine Feinabstimmung. Dabei wird ein bestehendes Modell mit zusätzlichen Beispielen weitertrainiert, was nach jeder inhaltlichen Änderung zu wiederholen wäre. Ein Abruf greift dagegen immer auf den aktuellen Stand der Datenquelle zu.

RAG ist schließlich nicht dasselbe wie Grounding. Grounding beschreibt das Ziel, eine Aussage an eine überprüfbare Quelle zu binden. Retrieval Augmented Generation ist eines der Verfahren, mit denen dieses Ziel erreicht wird.