Du hast ein Sprachmodell wie ChatGPT oder Claude ausprobiert und warst beeindruckt – bis du die erste Frage zu deinem eigenen Unternehmen gestellt hast. Die KI kennt die halbe Weltliteratur, aber nicht eure Preisliste, nicht euren Freigabeprozess und nicht die letzte Reklamation von Kunde Müller. Genau an diesem Punkt trennt sich ein nettes Spielzeug von einem Werkzeug, das im Betrieb wirklich Arbeit abnimmt – hier entscheidet sich, ob dein Firmenwissen für die KI nutzbar wird.
In diesem Artikel zeige ich dir, wie du dein Firmenwissen sauber und ohne frei erfundene Antworten in eine KI bekommst. Die Technik dahinter heißt RAG. Die Grundlagen – was Embeddings sind und wie die Suche im Kern funktioniert – habe ich in meinem Beitrag RAG einfach erklärt ausführlich beschrieben. Hier geht es um die zwei Bausteine, an denen RAG-Projekte im Mittelstand in der Praxis stehen oder fallen – saubere Metadaten und laufende Qualitätssicherung – und darum, wie beide in einem Agenten-System zusammenlaufen.
Warum ein allgemeines Sprachmodell deine Firmenfragen nicht beantwortet
Ein Sprachmodell wird auf riesigen Mengen öffentlich verfügbarer Texte trainiert und dann eingefroren. Es hat keinen Zugang zu eurem CRM, zum ERP, zum QM-Handbuch oder zu dem Ordner auf dem Netzlaufwerk, in dem die echten Prozesse liegen. Fragt dein Vertriebsinnendienst „Welche Konditionen haben wir Kunde Müller zuletzt eingeräumt?“, kann das Modell diese Information gar nicht kennen – es hat sie nie gesehen.
Schlimmer noch: Ein hilfsbereites Modell antwortet trotzdem – überzeugend formuliert und frei erfunden. Diese erfundenen Antworten nennt man Halluzinationen. Es gibt grundsätzlich zwei Wege, das zu beheben. Der erste ist, ein eigenes Modell auf euren Daten zu trainieren: teuer, langsam bei jeder Änderung und ohne Quellenangabe. Der zweite Weg ist RAG: Du gibst dem Modell zu jeder Frage genau die passenden Stellen aus deinen Dokumenten mit. Das ist schnell, aktuell und überprüfbar – und der Standardweg in jeder seriösen KI-Beratung.
Warum „alle Dokumente reinkippen“ scheitert
Der naheliegende Gedanke: Moderne Modelle haben doch riesige Kontextfenster, also kippe ich alle Handbücher, Verträge und Protokolle hinein und lasse die KI selbst suchen. In der Praxis geht das aus vier Gründen schief.
- Es ist teuer. Du bezahlst bei jeder Frage erneut für den gesamten Text, auch für den weitaus größten Teil, der zur Frage nichts beiträgt.
- Es ist langsam. Je mehr Text das Modell bei jeder Anfrage durchpflügen muss, desto länger wartet der Mitarbeiter auf die Antwort.
- Es wird zur Nadel im Heuhaufen. Das Phänomen ist wissenschaftlich dokumentiert und heißt „Lost in the Middle“: Modelle nutzen Informationen am Anfang und am Ende eines langen Textes gut, in der Mitte aber deutlich schlechter – selbst Modelle, die ausdrücklich für lange Kontexte gebaut sind.
- Es zerreißt Zusammenhänge. Wer Dokumente unbedacht in Stücke schneidet, trennt die Regel von ihrer Ausnahme, die Tabellenüberschrift von den Zahlen darunter, den Prüfschritt von seiner Toleranzangabe. Am Ende hat das Modell nur Bruchstücke und rät sich den Rest zusammen.
Ein großes Kontextfenster verschiebt also nur die Grenze. Was du brauchst, ist ein System, das zu jeder Frage gezielt die wenigen richtigen Stellen findet.
Wie RAG dein Firmenwissen in die KI bringt
RAG läuft in zwei Phasen. Bei der Indexierung – einmalig im Voraus – werden deine Dokumente in kleine, sinnvolle Stücke zerlegt (Chunks), jedes Stück per Embedding in eine Liste von Zahlen übersetzt und in einer Vektordatenbank abgelegt, einem Speicher, der nach Ähnlichkeit statt nach exaktem Begriff durchsucht wird. Ein Embedding ist dabei nichts anderes als eine Koordinate im Bedeutungsraum: Inhalte mit ähnlicher Bedeutung landen nah beieinander.
Bei jeder Frage läuft dann die Abrufphase: Die Frage wird in denselben Zahlenraum übersetzt, die ähnlichsten Chunks werden gesucht und als Kontext an das Sprachmodell übergeben. Reine Bedeutungssuche verfehlt aber exakte Zeichenketten wie Artikelnummern oder Fehlercodes – deshalb kombiniert ein ernstzunehmendes System die Vektorsuche mit klassischer Stichwortsuche und einem Nachsortierschritt, nachzulesen in Hybrid Search und Reranking.
So weit die Mechanik. Doch selbst die beste Suchpipeline liefert schlechte Antworten, wenn die abgerufenen Textstücke keinen Kontext tragen. Genau hier kommen Metadaten ins Spiel.
Metadaten: Kontext-Etiketten an jedem Wissensschnipsel
Ein Chunk ist eine lose Textstelle, herausgetrennt aus einem größeren Dokument – wie ein einzelnes Blatt, das aus drei Ordnern gefallen ist und lose auf dem Tisch liegt. Für sich genommen weiß dieser Schnipsel nicht, aus welchem Prozess er stammt, für wen er gilt oder in welcher Version er gültig ist.
Metadaten sind die Etiketten, die du an jeden dieser Schnipsel klebst. In der Fertigung kennst du das Prinzip vom Laufzettel am Auftrag oder vom Stempel „gültig ab“ auf einem QM-Dokument: Ein Blick genügt, um zu wissen, welcher Auftrag, welche Revision, welche Station. Genau diese Etiketten fügst du bei der Indexierung jedem Chunk hinzu. Typische Felder sind:
- Prozessname – aus welchem Ablauf stammt die Stelle (etwa „Wareneingangsprüfung“)?
- Zielgruppe oder Rolle – für wen gilt sie (Produktion, Büro, Führungskraft, Azubi)?
- Projektphase – gehört sie zur Angebots-, Umsetzungs- oder Abnahmephase?
- Verantwortliches Team – wer pflegt und verantwortet den Inhalt?
- Versionsstand – ist das die aktuelle Fassung oder eine abgelöste?
- Datum und Gültigkeit – seit wann gilt der Inhalt, bis wann?
Ein konkretes Beispiel aus dem Onboarding
Nimm einen neuen Mitarbeiter in der Produktion, der den Onboarding-Chatbot fragt: „Wie beantrage ich meine Arbeitskleidung?“ Ohne Metadaten findet die Vektorsuche drei Textstellen zum Thema: eine aus dem alten Prozess von 2021, der längst abgelöst ist, eine für Büromitarbeiter und eine aus dem aktuellen Produktionsablauf. Das Modell greift eine davon heraus oder vermischt sie, und der neue Kollege bekommt eine veraltete oder falsche Anleitung.
Mit Metadaten-Filterung läuft es anders: Das System weiß, dass die Frage von jemandem mit der Rolle „Produktion“ kommt, und filtert vor der Suche auf Chunks mit Team = Produktion und Status = gültig. Übrig bleibt genau die eine Stelle, die zu dieser Person und zur aktuellen Version passt – die Antwort ist rollen- und versionsgenau und sie stimmt. In Wissens-KI-Projekten ist die saubere Vergabe dieser Etiketten deshalb einer der wichtigsten Hebel.
Evaluationsgetriebene Entwicklung: Woher du weißt, dass die Antworten stimmen
Die häufigste Frage in meinen Projekten sollte nicht lauten „Funktioniert das?“, sondern: „Woher wissen wir, dass es funktioniert?“ Ein RAG-System ein paar Mal anzuklicken und zufrieden zu nicken, ist keine Qualitätssicherung – das ist Bauchgefühl, und Bauchgefühl fliegt bei Dutzenden Prozessen und Rollen zuverlässig daneben.
Der professionelle Weg heißt evaluationsgetriebene Entwicklung, und wer schon einmal Software entwickeln lassen hat, kennt das Prinzip: automatisierte Tests, die nach jeder Änderung durchlaufen und sofort melden, wenn an anderer Stelle etwas kaputtgegangen ist. Für ein RAG-System machst du dasselbe – nur mit Wissen statt mit Code.
So funktioniert ein Prüfkatalog
Der erste Schritt ist ein Test-Datensatz, ich nenne ihn gern den Prüfkatalog. Du sammelst mit den Fachabteilungen echte Fragen aus dem Alltag – aus Vertrieb, Qualitätssicherung und Service – und hinterlegst zu jeder die richtige Soll-Antwort samt Quelldokument.
Der zweite Schritt ist die automatische Bewertung. Nach jeder Änderung am System – ein neues Chunking, zusätzliche Metadaten, ein anderes Embedding-Modell – lässt du alle Fragen automatisch durchlaufen. Ein zweites Sprachmodell übernimmt dann die Rolle des Prüfers: Es vergleicht jede erzeugte Antwort mit der hinterlegten Soll-Antwort und bewertet, ob die entscheidenden Fakten enthalten sind und ob die richtige Quelle genannt wurde. Dieses Muster nennt man ein Modell als Schiedsrichter, im Fachjargon LLM-as-a-Judge. Es macht aus einer subjektiven Einschätzung eine wiederholbare Messung.
Der dritte Schritt ist die iterative Verbesserung. Du siehst nach jeder Änderung schwarz auf weiß, ob sie geholfen hat – oder ob sie die Antworten im Vertrieb verbessert, dafür aber die in der Qualitätssicherung verschlechtert. Ohne diesen Prüfkatalog fliegst du blind: Du drehst an einer Schraube, drei andere lockern sich, und du merkst es erst, wenn sich ein Kunde beschwert. Deshalb baust du das Testen von Anfang an mit ein, nicht erst als Kür am Schluss. Und auch der prüfende Automat ist nicht unfehlbar – für die wichtigen Fälle bleibt ein Mensch in der Schleife.
Agenten: Die KI wählt selbst das richtige Werkzeug
Ein einfaches RAG-System macht bei jeder Frage dasselbe: semantische Suche über Dokumente. Aber nicht jede Frage ist eine Suchfrage. „Wie viele Angebote über 50.000 Euro haben wir im letzten Quartal verschickt?“ steht in keinem PDF – das ist eine Datenbankabfrage ans CRM. „Was hat sich seit letzter Woche in unseren Arbeitsanweisungen geändert?“ verlangt keinen Bedeutungsvergleich, sondern einen Zeitfilter auf das Datums-Etikett.
Ein Agenten-System ist die nächste Ausbaustufe: Die KI entscheidet pro Frage selbst, welches Werkzeug passt – semantische Suche, ein Filter auf Rolle oder Zeitraum oder eine strukturierte Abfrage an eine Datenbank – und kombiniert die Ergebnisse zu einer Antwort. Hier zahlen sich deine Metadaten ein zweites Mal aus: Sie sind nicht nur ein Filter, sondern auch das Signal, an dem der Agent erkennt, welches Werkzeug überhaupt in Frage kommt. Damit sind wir mitten in der KI-Automatisierung, bei der die KI nicht nur antwortet, sondern eigenständig den richtigen Weg zur Antwort wählt.
Die drei Säulen erfolgreicher RAG-Projekte
Wenn ich ein RAG-Projekt im Mittelstand aufsetze, ruht es immer auf denselben drei Säulen. Die zwei Bausteine aus der Einleitung – Metadaten und laufende Qualitätssicherung – kehren hier wieder, ergänzt um die saubere Datenbasis darunter. Fehlt eine Säule, wackelt das Ganze.
- Saubere Datenaufbereitung. Aus Scans wird verlässlicher Text, aus langen Dokumenten werden sinnvoll geschnittene Chunks – und jeder Chunk bekommt seine Metadaten-Etiketten. Das ist die unspektakuläre Fleißarbeit, die am Ende über die Qualität entscheidet.
- Intelligentes Retrieval. Hybride Suche und Reranking sorgen dafür, dass sowohl die Bedeutung als auch die exakte Artikelnummer getroffen werden. Metadaten-Filter und Agenten sorgen dafür, dass die Antwort zur Rolle, zur Version und zum Fragetyp passt.
- Kontinuierliches Testen. Ein Prüfkatalog mit echten Fragen und ein Modell als Schiedsrichter machen die Qualität messbar – von Tag eins an, nicht erst wenn sich jemand beschwert.
Diese drei zusammen sind der Unterschied zwischen einem Prototyp, der in der Demo glänzt und im Alltag enttäuscht, und einem System, auf das sich deine Mitarbeiter im Alltag verlassen. Wenn du für dein Unternehmen im Raum Aalen und dem Ostalbkreis prüfen willst, welcher erste Schritt sich lohnt, lass uns gemeinsam auf deine Dokumente schauen.
Häufige Fragen
Wie bekomme ich mein Firmenwissen in eine KI?
Nicht, indem du ein eigenes Modell auf deinen Daten trainierst – das ist teuer und bei jeder Änderung von vorn. Der etablierte Weg heißt RAG: Du gibst dem Sprachmodell zu jeder Frage gezielt die passenden Stellen aus deinen Dokumenten mit. So bleibt die Antwort aktuell, überprüfbar und mit Quellenangabe versehen. Über die Qualität entscheiden dann zwei Bausteine – saubere Metadaten an jedem Textstück und eine laufende Qualitätssicherung, die misst, ob die Antworten stimmen.
Was sind Metadaten in einem RAG-System, einfach gesagt?
Metadaten sind Etiketten an jedem Textstück: Prozessname, Zielgruppe, verantwortliches Team, Versionsstand und Datum. Sie geben einem für sich genommen kontextlosen Schnipsel seinen Platz zurück. Erst dadurch kann das System vor der Suche gezielt filtern und Antworten passend zu Rolle und Version liefern, statt eine veraltete oder für die falsche Zielgruppe gedachte Stelle auszugeben.
Wie viele Testfragen brauche ich, um die Qualität zu messen?
Es gibt keine feste Zahl, aber als Einstieg haben sich einige Dutzend realistische Fragen aus jeder wichtigen Abteilung bewährt. Entscheidender als die Menge ist, dass die Fragen echt sind und zu jeder eine geprüfte Soll-Antwort hinterlegt ist. Die Sammlung wächst dann von selbst: Jeder Fehler im Betrieb wird zu einem neuen Testfall.
Kann RAG Halluzinationen ganz verhindern?
Nein, aber es reduziert sie deutlich, weil das Modell seine Antwort auf konkrete Belege stützen muss. In Messungen etwa von Anthropic verfehlt selbst die beste Abruf-Konfiguration in rund zwei Prozent der Fälle noch die richtige Quelle, und auch bei richtiger Quelle kann das Modell falsch kombinieren. Behandle jede KI-Antwort als überprüfbaren Vorschlag mit Quellenangabe, nicht als Orakel – genau deshalb ist der Prüfkatalog so wichtig.
Fazit
Ein allgemeines Sprachmodell kennt die Welt, aber nicht dein Unternehmen. Dein Firmenwissen kommt sauber und ohne Halluzinationen in die KI, indem du zu jeder Frage gezielt die richtigen Stellen aus deinen Dokumenten mitgibst – das ist RAG. Der Unterschied zwischen Prototyp und produktivem System liegt dabei fast nie an der Suche selbst, sondern an zwei oft übersehenen Bausteinen: an Metadaten, die jedem Wissensschnipsel seinen Kontext zurückgeben und rollen- sowie versionsgenaue Antworten ermöglichen, und an einer evaluationsgetriebenen Entwicklung, die die Qualität von Anfang an messbar macht. Wer Datenaufbereitung, intelligentes Retrieval und kontinuierliches Testen als die drei tragenden Säulen begreift, baut kein Spielzeug, sondern ein Werkzeug, dem die Belegschaft vertraut. Genau darauf kommt es im Mittelstand an.