Chunking

Warum das zählt

Chunking erklärt eine Beobachtung, die viele überrascht: In KI-Antworten und in einem AI Overview steht selten der Kern einer ganzen Seite, sondern der Inhalt eines bestimmten Abschnitts daraus. Ihr Text wird also nicht als Ganzes bewertet, sondern abschnittsweise.

Daraus folgt eine Regel, die dem gewohnten Schreiben widerspricht: Jeder Abschnitt muss für sich allein funktionieren. Ein Text, der als durchgehende Argumentation überzeugt, kann in Ausschnitten unbrauchbar sein, wenn jeder Absatz auf dem vorigen aufbaut.

Wie groß dieser Effekt ist, zeigt eine Messung von Anthropic. Das Unternehmen beschreibt in seiner Untersuchung zu kontextangereichertem Abruf einen typischen Problemfall: Ein Abschnitt enthält den Satz, der Umsatz sei um 3 Prozent gegenüber dem Vorquartal gestiegen. Welches Unternehmen und welcher Zeitraum gemeint sind, steht nicht darin. Ergänzte Anthropic jedem Abschnitt seinen fehlenden Bezug, sank die Quote nicht gefundener Inhalte von 5,7 auf 2,9 Prozent, mit einer nachgelagerten Neusortierung der Treffer auf 1,9 Prozent.

Diese Anreicherung findet beim KI-Anbieter statt und lässt sich von außen nicht auslösen. Sie können den Bezug aber von vornherein in den Abschnitt schreiben, damit er gar nicht erst fehlt.

Wie es funktioniert

Die Verfahren unterscheiden sich je nach Anbieter. Das Grundprinzip geht auf die Arbeit von Lewis und Kollegen aus dem Jahr 2020 zurück, die abrufgestützte Generierung eingeführt hat. Vier Schritte laufen dabei ab.

Zerlegen. Der Text wird in Abschnitte geteilt. Gute Verfahren orientieren sich an der Struktur, also an Überschriften und Absätzen, statt stur nach Zeichenzahl zu schneiden.

Umrechnen. Jeder Abschnitt wird in eine numerische Darstellung überführt, die seine Bedeutung abbildet. Zwei Abschnitte mit ähnlichem Inhalt liegen darin nahe beieinander, auch wenn sie andere Wörter verwenden.

Suchen. Bei einer Anfrage wird dieselbe Umrechnung auf die Frage angewendet. Gesucht werden die Abschnitte, die inhaltlich am nächsten liegen.

Übergeben. Die gefundenen Abschnitte gehen als Kontext an das Sprachmodell, das daraus die Antwort formuliert. Dieser Rückbezug auf konkrete Quellenabschnitte heißt Grounding.

Die Zahlenwerte dahinter sind öffentlich dokumentiert. OpenAI nennt für die eigene Dateisuche konkrete Standardwerte, Anthropic beschreibt die Größenordnung allgemein.

Die Überlappung erklärt, warum Ihr Text nicht sauber an Absatzgrenzen zerfällt. Bei 800 Token Abschnittsgröße und 400 Token Überlappung liegt die Schnittkante regelmäßig mitten im laufenden Text. Ein Abschnitt, dessen Aussage erst durch den vorigen verständlich wird, überlebt diesen Schnitt nicht.

Einfluss haben Sie nur auf den ersten Schritt. Eine Seite mit klaren Überschriften und thematisch getrennten Absätzen wird an sinnvollen Stellen geschnitten, ein einziger langer Textblock an willkürlichen.

In der Praxis

Die Prüfung einer Seite auf Schnittfestigkeit läuft in vier Schritten ab.

Erstens: den Mittelteil isolieren. Nehmen Sie einen Absatz aus der Mitte der Seite und lesen Sie ihn ohne alles davor. Steht darin, um welches Produkt, welche Leistung, welches Unternehmen es geht? Meistens lautet die Antwort nein, weil das Thema nur in der Überschrift steht und im Absatz nur noch „es“ und „das System“ vorkommt.

Zweitens: Rückverweise zählen. Suchen Sie im Quelltext nach Formulierungen wie „wie oben beschrieben“, „im vorigen Abschnitt“ oder „siehe unten“. Jeder Treffer ist eine Stelle, an der ein Ausschnitt seinen Bezug verliert.

Drittens: den Bezug einmal je Abschnitt setzen. Nennen Sie Ross und Reiter, aber nicht in jedem Satz, sonst liest sich der Text furchtbar. Einmal je Abschnitt genügt. Am Markup sieht das so aus:

<!-- schneidet schlecht: Bezug steht nur in der Überschrift -->
<h2>Wartung</h2>
<p>Sie erfolgt alle [Intervall]. Danach ist es wieder einsatzbereit.</p>

<!-- schneidet gut: der Abschnitt trägt sich selbst -->
<h2>Wie oft wird [Produktname] gewartet?</h2>
<p>[Produktname] von [Hersteller] wird alle [Intervall] gewartet.
Nach der Wartung ist [Produktname] wieder einsatzbereit.</p>

Viertens: Werte in Tabellen überführen. Eine Tabellenzeile ist ohnehin eine geschlossene Einheit. Sie übersteht jeden Schnitt, solange die Kopfzeile die Spalten benennt.

Das Ergebnis erkennen Sie nicht an einer Kennzahl, sondern am Lesetest: Jeder Abschnitt beantwortet eine Frage, und die Frage steht in der Überschrift darüber. Ob sich daraus tatsächlich Nennungen in KI-Antworten ergeben, lässt sich nur nachgelagert prüfen. Wie das geht, steht im Ratgeber KI-Sichtbarkeit messen.

Häufige Fehler

Ein durchgehender Textblock. Ohne Zwischenüberschriften wird an willkürlichen Stellen geschnitten, und Aussagen zerreißen mitten im Gedanken.

Rückverweise im Text. „Wie oben beschrieben“ und „im vorigen Abschnitt“ machen einen Ausschnitt wertlos, sobald er allein steht.

Nur Pronomen statt Namen. Wenn über mehrere Absätze hinweg nur von „ihm“ und „dem Gerät“ die Rede ist, verliert der Ausschnitt seinen Bezug.

Wichtiges nur in Bildern. Werte, die ausschließlich in einer Grafik stehen, landen in keinem Abschnitt. Google nennt in seiner Dokumentation zu KI-Funktionen in der Suche ausdrücklich den Punkt, wichtige Inhalte in Textform verfügbar zu machen.

Themen auf viele dünne Seiten verteilen. Fünf kurze Seiten zum selben Thema ergeben nicht mehr brauchbare Abschnitte als eine vollständige Seite, sondern nur mehr Thin Content.

Abgrenzung

Chunking ist ein technischer Schritt innerhalb der Retrieval Augmented Generation und keine eigene Optimierungsdisziplin. Sie können das Verfahren nicht direkt steuern, weil es beim Anbieter liegt. Sie können aber Texte so aufbauen, dass jedes plausible Schnittmuster brauchbare Abschnitte ergibt.

Vom Begriff Zitierfähigkeit unterscheidet sich Chunking in der Blickrichtung. Chunking beschreibt, was das System mit dem Text macht. Zitierfähigkeit beschreibt, was der Text mitbringen muss, damit dabei etwas Brauchbares herauskommt.

Wer den umgekehrten Weg gehen und Inhalte aus KI-Antworten heraushalten will, hat dafür eigene Werkzeuge. Google nennt in seiner Dokumentation die Angaben nosnippet, data-nosnippet und max-snippet als Mittel, um die aus einer Seite gezeigten Inhalte zu begrenzen. Sie wirken auf die Anzeige, nicht auf das Schneiden selbst.