Chunking

Was ist Chunking?

Chunking bezeichnet das Aufteilen längerer Dokumente oder Texte in kleinere, thematisch abgeschlossene Abschnitte – sogenannte Chunks. Diese Abschnitte werden separat in einer Vektordatenbank gespeichert und indexiert, damit ein KI-System bei einer Suchanfrage gezielt die relevantesten Passagen findet. Ohne sinnvolles Chunking würde ein Retrieval-Augmented-Generation-System entweder zu viel oder zu wenig Kontext liefern – beides verschlechtert die Antwortqualität.

Wie funktioniert Chunking?

Stell dir ein 50-seitiges Produkthandbuch vor. Würdest du das gesamte Dokument als eine Einheit speichern, hätte ein Sprachmodell Mühe, die spezifische Antwort auf eine einzelne Frage darin zu finden. Stattdessen zerlegt Chunking das Dokument in Abschnitte von z. B. 200–500 Wörtern – jeder Chunk umfasst eine logisch zusammenhängende Passage.

Jeder Chunk wird anschließend per Einbettung in einen Vektor umgewandelt und in der Datenbank gespeichert. Bei einer Nutzeranfrage werden die ähnlichsten Chunks per Semantischer Suche abgerufen und dem Sprachmodell als Kontext übergeben. Die Qualität dieses Abrufs hängt direkt davon ab, wie gut die Chunks geschnitten sind.

Vorteile für Unternehmen

• Präzisere Antworten: Kleinere, fokussierte Abschnitte liefern dem Modell genau den relevanten Kontext – ohne irrelevante Passagen, die die Antwort verwässern.
• Effizientere Nutzung des Context Windows: Ein begrenztes Context Window wird nicht mit unnötigem Text befüllt, sondern gezielt mit den tatsächlich passenden Chunks.
• Bessere Skalierbarkeit: Auch sehr große Dokumentenmengen – etwa ein vollständiges Produktkatalog oder eine Wissensdatenbank – bleiben durchsuchbar, weil nur die relevanten Chunks geladen werden.
• Einfachere Aktualisierung: Ändert sich ein Abschnitt eines Dokuments, muss nur der betroffene Chunk neu eingebettet werden, nicht das gesamte Dokument.

Praxisbeispiele

Beispiel 1: Maschinenbau mit technischer Dokumentation

Ein Maschinenbauunternehmen hat hunderte Wartungsanleitungen im PDF-Format. Die Anleitungen werden per Chunking in Abschnitte à 300 Wörter aufgeteilt – jeweils entlang von Überschriften und Handlungsschritten. Wenn ein Servicetechniker im Außendienst fragt, wie er eine bestimmte Baugruppe austauscht, ruft das RAG-System die drei passenden Chunks ab und gibt eine präzise Schritt-für-Schritt-Antwort – statt das Modell mit 80 Seiten zu überfordern.

Beispiel 2: E-Commerce mit Produktdaten und FAQ

Ein Online-Händler speist seinen KI-Chatbot mit Produktbeschreibungen, Rückgaberichtlinien und FAQ-Texten. Durch sauberes Chunking entlang von Themenbereichen findet der Chatbot bei der Frage nach der Rückgabefrist sofort den richtigen Abschnitt – ohne irrelevante Produktbeschreibungen mitzuliefern, die die Antwort verfälschen könnten.

Worauf du achten solltest

Die Chunk-Größe ist entscheidend: Zu kleine Chunks verlieren Kontext (ein einzelner Satz erklärt selten genug), zu große Chunks enthalten zu viel Rauschen. Bewährt haben sich Größen zwischen 150 und 500 Wörtern – abhängig vom Dokumenttyp. Achte außerdem auf sinnvolle Schnittgrenzen: Niemals mitten in einem Satz oder Abschnitt trennen. Overlapping Chunks – also Abschnitte, die sich um 10–20 % überlappen – helfen dabei, Informationen an Übergängen nicht zu verlieren. Beachte zudem, dass die Wahl der Chunk-Strategie direkt mit dem Reranking-Schritt zusammenhängt: Schlecht geschnittene Chunks lassen sich auch durch nachgelagertes Reranking kaum retten.

Häufige Fragen

Wie groß sollte ein Chunk sein?

Es gibt keine universelle Antwort, aber 200–400 Wörter sind ein guter Ausgangspunkt. Technische Dokumente mit vielen Details profitieren oft von kleineren Chunks; narrative Texte von etwas größeren. Teste verschiedene Größen anhand deiner konkreten Suchanfragen.

Muss ich Chunks manuell erstellen?

Nein. Frameworks wie LangChain oder LlamaIndex bieten fertige Chunking-Strategien – von einfacher Zeichenanzahl bis hin zu semantischem Chunking, das thematische Grenzen automatisch erkennt.

Was ist der Unterschied zwischen festem und semantischem Chunking?

Festes Chunking trennt nach einer definierten Zeichenzahl, semantisches Chunking analysiert den Inhalt und schneidet an thematischen Übergängen. Semantisches Chunking liefert in der Regel bessere Ergebnisse, ist aber rechenaufwendiger und benötigt mehr Konfiguration.

Fazit

Chunking ist eine der wichtigsten Stellschrauben in jeder RAG-Pipeline. Wer Dokumente schlecht aufteilt, verschlechtert die gesamte Antwortqualität des KI-Systems – unabhängig davon, wie leistungsfähig das zugrundeliegende Sprachmodell ist. Für Unternehmen, die interne Wissensdatenbanken, Produktdokumentationen oder Support-Inhalte mit KI zugänglich machen wollen, lohnt es sich, früh in eine durchdachte Chunking-Strategie zu investieren.