In den ersten sechs Teilen dieser Serie haben wir die Maschine gebaut. In Teil 1: Wissen schlägt Modell ging es darum, warum nicht das Modell, sondern das zugängliche Wissen über den Erfolg von KI entscheidet — gerade im Mittelstand mit seinem demografischen Wissensabfluss. Danach haben wir uns durch Dokumentenaufbereitung, OCR, Chunking, Vektordatenbanken, Hybrid Search und Knowledge Graphs gearbeitet. Jetzt kommt der Teil, der in der Praxis zählt: Wo ein Wissens-Chatbot im Mittelstand konkret Zeit spart, wie ein Onboarding-Agent Wissen sichert — und, offener als die meisten Anbieter es sagen, wo RAG (Retrieval Augmented Generation, das gezielte Nachschlagen relevanter Wissensausschnitte) das falsche Werkzeug ist.
Der interne Wissens-Chatbot im Mittelstand: der schnellste Hebel
Der unmittelbarste Anwendungsfall ist ein interner Chatbot, der auf deiner aufbereiteten Wissensbasis sitzt. Denk an den Vertriebsinnendienst: Die Frage „Welches Angebot haben wir einem vergleichbaren Kunden zuletzt geschickt, und zu welchen Konditionen?“ liegt heute verteilt in Hunderten PDFs auf SharePoint, in E-Mails mehrerer Kollegen und in einer halbfertigen Excel-Tabelle. Ein Chatbot mit sauberem Retrieval zieht die drei relevanten Stellen heraus, statt dass jemand eine halbe Stunde sucht.
In der Qualitätssicherung ist der Klassiker die exakte Klausel oder Prüfanweisung aus einem 50-seitigen Handbuch — genau der Fall, in dem reine Bedeutungssuche schwächelt, weil Fachbegriffe und Artikelnummern wörtlich getroffen werden müssen. Deshalb kombiniert ein ernsthaftes System sie mit klassischer Stichwortsuche und einem Reranking-Schritt, wie in Teil 5: Hybrid Search und Reranking gezeigt. Im Service beantwortet derselbe Bot wiederkehrende Fragen zu Maschinen, Wartungsintervallen und Ersatzteilen — mit Quellenangabe, sodass die Antwort überprüfbar bleibt.
Der große Vorteil: Der Bot lässt sich dort einbinden, wo deine Leute ohnehin arbeiten — in Microsoft Teams, in Slack oder auf einer internen Seite. Wie du so eine Wissens-KI im Unternehmen verankerst, ist Kern meiner Arbeit rund um Wissens-KI im Mittelstand.
Der Onboarding-Agent: Wissen, das nicht in Rente geht
Der zweite große Fall knüpft direkt an das Demografie-Problem aus Teil 1 an. In vielen Betrieben dauert die Einarbeitung neuer Mitarbeiter sechs bis zwölf Monate, in der die Neuen viel Aufmerksamkeit erfahrener Kollegen binden. Ein Onboarding-Agent fängt genau die niedrigschwelligen Fragen ab: „Erklär mir die Home-Office-Regelung“, „Wo finde ich die Reisekostenabrechnung“, „Wie läuft die Freigabe bei uns“.
Technisch ist das derselbe RAG-Ansatz, nur mit klar abgegrenzten Wissensordnern — einer für Personal, einer für Marketing, einer für die Fertigung. Der Agent antwortet ausschließlich quellenbasiert und mit niedrig eingestellter Kreativität, damit er nicht interpretiert, sondern belegt. Das entlastet erfahrene Mitarbeiter doppelt: Sie werden seltener unterbrochen, und ihr Wissen ist gesichert, bevor sie das Unternehmen verlassen.
Offen bleibt aber auch hier: Der Chatbot selbst ist der einfache Teil. Die eigentliche Komplexität steckt im Rollout — Zugriffsrechte, Rollenverwaltung, wer welchen Ordner sehen darf. Genau das plane ich mit Unternehmen im Rahmen von KI-Automatisierung, damit ein Agent nicht versehentlich Gehaltslisten an die Werkstatt ausliefert.
Sprachgesteuert: KI für Werkstatt und Außendienst
Es gibt Arbeitsplätze, an denen niemand tippt: die Hand am Werkstück, unterwegs im Auto, am Telefon mit einem Kunden. Hier greifen sprachgesteuerte Assistenten auf dieselbe Wissensbasis zu. Der Unterschied zum Chat-Bot ist das Tempo — ein Sprachassistent, der zu lange braucht, zerstört den Gesprächsfluss.
Der Anbieter ElevenLabs hat offengelegt, wie er die RAG-Latenz seiner Voice Agents gesenkt hat. Allein das Umschreiben der Nutzeranfrage machte über 80 Prozent der RAG-Latenz aus — nicht der gesamten Sprach-Pipeline, die zusätzlich Speech-to-Text, Modellantwort und Text-to-Speech umfasst. Die Lösung nennt sich Model Racing: Dieselbe Anfrage geht parallel an mehrere Modelle (die selbst gehosteten Qwen 3-4B und Qwen 3-30B-A3B sowie externe Anbieter), die erste gültige Antwort gewinnt.
Die nüchternen Zahlen dazu:
- RAG-Latenz im Median: von 326 auf 155 Millisekunden gesenkt.
- Im p95, also den langsamsten Fällen: nur von 629 auf 426 Millisekunden — das langsamste Perzentil liegt weiterhin über 400 Millisekunden.
- Fallback: Antwortet kein Modell innerhalb einer Sekunde, fällt das System auf die Rohnachricht des Nutzers zurück — weniger präzise, aber kein Gesprächsabbruch.
Praxisrelevant ist auch: Anders als Systeme, die RAG nur bei Bedarf auslösen, führt ElevenLabs es bei jeder Anfrage aus — ausdrücklich eine bewusste Abweichung vom üblichen Vorgehen, kein Branchenstandard.
Ein handfester Rat noch: Füttere eine Sprach-Wissensbasis mit sauberem Markdown (ein einfaches Textformat mit klarer Struktur aus Überschriften, Listen und Tabellen), nicht mit rohen PDFs. Ein spezialisiertes OCR-Modell wie Mistral OCR 4 liefert genau das — strukturierten Markdown-Text mit Confidence-Scores (Vertrauenswerten, wie sicher sich die Texterkennung an jeder Stelle ist) und einer Klassifikation von Titeln, Tabellen und Formeln, zu 4 US-Dollar je 1.000 Seiten. Wie das im Detail funktioniert, war das Thema von Teil 4 der Serie.
Wann RAG das falsche Werkzeug ist
Und jetzt der unbequeme Teil, der Beratung von Werbung unterscheidet. RAG ist kein Allheilmittel, und gerade weil die Kontextfenster immer größer werden, ist es oft schlicht nicht nötig. Das Kontextfenster ist dabei einfach die Menge Text, die ein Modell auf einmal lesen kann — wie der Platz auf einem Schreibtisch, auf dem nur eine bestimmte Zahl Blätter nebeneinander liegen.
1. Kleine Dokumentenmengen, die ins Kontextfenster passen
Aktuelle Modelle wie Claude Opus 4.8, Opus 4.6, Sonnet 5 und Sonnet 4.6 haben ein Kontextfenster von einer Million Tokens (Tokens sind die Text-Bausteine, in die ein Modell Sprache zerlegt — grob ein Wortteil pro Token). Bei diesen Modellen ist die Million der Standard, ohne Zusatzoptionen und zu Standardpreisen. Aber selbst die 200.000 Tokens eines kleineren Modells wie Claude Haiku 4.5 fassen einen 20- bis 40-seitigen Vertrag mühelos. Wenn du eine einmalige, konkrete Frage an ein einzelnes Dokument hast — wer sind die Vertragsparteien, wann wurde unterschrieben, welche Fristen gelten — dann lade das Dokument direkt in den Kontext. Genau solche exakten Detailangaben sind für eine Bedeutungssuche eher schwierig; das Modell mit dem Rohdokument liefert sie zuverlässiger. RAG würde hier nur Komplexität und eine zusätzliche Fehlerquelle einbauen — das gilt auch für saubere Datenextraktion aus einem einzelnen Dokument.
Mehr Kontext ist allerdings nicht automatisch besser. Anthropic dokumentiert ausdrücklich den Effekt Context Rot: Mit wachsender Token-Zahl sinken Genauigkeit und Trefferquote. Das Kuratieren dessen, was im Kontext landet, ist also genauso wichtig wie die verfügbare Größe. Und es gibt harte Grenzen — eine einzelne Anfrage darf höchstens 600 Bilder oder PDF-Seiten enthalten, bei den 200k-Modellen nur 100.
2. Aufgaben, die rechnen oder in Datenbanken abfragen
„Welches unserer Angebote im letzten Quartal hatte das höchste Volumen?“ oder „Wie viele offene Reklamationen hat Kunde X?“ sind keine Nachschlage-, sondern Rechen- und Aggregationsfragen. Das Paper „Text2SQL is Not Enough“ (CIDR 2025, UC Berkeley und Stanford) hält fest: RAG deckt nur die Teilmenge ab, die sich mit Punkt-Abfragen auf einen oder wenige Datensätze beantworten lässt. Im dortigen Benchmark beantwortete eine reine RAG-Baseline keine einzige Frage korrekt, die Variante mit Reranking genau eine; alle Standardverfahren blieben unter 20 Prozent. Umgekehrt scheitert auch reines Text2SQL — automatisch erzeugte SQL-Abfragen — an Rangfolge-Fragen (nur 10 Prozent Genauigkeit), weil viele davon ein sprachliches Textverständnis erfordern, das SQL allein nicht leistet. Für Vertriebszahlen brauchst du also eine Datenbankabfrage kombiniert mit Sprachverständnis, keinen Vektorindex.
3. Ständig wechselnde Daten
Ein Vektorindex ist eine Momentaufnahme. Für Werte, die sich im Minutentakt ändern — Lagerbestände, Auftragsstatus, Tagespreise — läuft ein Index seiner Neu-Indexierung immer hinterher. Solche Fragen gehören an das Live-System, nicht an eine RAG-Wissensbasis.
4. Fragen, die das Gesamtdokument brauchen
RAG holt drei bis zehn Ausschnitte. Wenn du aber ein ganzes Dokument zusammenfassen, alle Widersprüche darin finden oder die vollständige Pflichtenliste eines Vertrags brauchst, zerreißt die Chunk-Auswahl genau den Zusammenhang, auf den es ankommt. Dann gilt wieder: ganzes Dokument in den Kontext.
Zur Ehrlichkeit gehört die Kehrseite: Selbst ein sauberes RAG-System liefert nie 100 Prozent. Die Studie U-NIAH zeigt beide Seiten. Einerseits verbessert RAG kleinere Modelle deutlich und mildert den „Lost in the Middle“-Effekt (Informationen in der Mitte langer Texte werden schlechter gefunden als am Anfang oder Ende) — mit einer Gewinnrate von 82,58 Prozent gegenüber den reinen Modellen. Andererseits verschlechtern Retrieval-Rauschen und eine falsche Reihenfolge der Ausschnitte die Ergebnisse messbar, bis hin zu Halluzinationen. RAG lohnt sich erst, wenn dein Wissen wirklich über das Kontextfenster hinauswächst — Dutzende bis Tausende Dokumente, mit denen eine ganze Abteilung chattet. Welche zwei bis drei Fälle bei dir den größten Hebel hätten, klärt eine nüchterne Bestandsaufnahme in der KI-Beratung, nicht das teuerste Tool.
Einfache Werkzeuge, die oft schon reichen
Für kleine Fälle brauchst du keine eigene Pipeline. Google NotebookLM — seit dem 16. Juli 2026 offiziell in Gemini Notebook umbenannt (Google nennt über 30 Millionen Nutzer und über 600.000 Organisationen) — ist stark darin, über viele Dokumente hinweg zu suchen, etwa „Finde alle Verträge, die US-Recht statt englisches Recht vorsehen“.
Bei Firmenwissen ist aber Vorsicht geboten, und zwar an zwei Stellen:
- Quellenlimits: Im Standard-/Free-Plan sind es 50 Quellen pro Notebook, im Pro-Plan 300.
- Datenschutz: Inhalte werden nicht direkt zum Training der Modelle genutzt — es sei denn, du gibst aktiv Daumen-hoch/Daumen-runter-Feedback. Dann prüfen geschulte Teams die zugehörigen Inhalte, vom Google-Konto getrennt und bis zu drei Jahre gespeichert.
Der Datenschutz hängt also am Plan, nicht am Produkt: Für Workspace- und Education-Konten findet auch bei Feedback keine menschliche Prüfung statt, und die Enterprise-Variante innerhalb von Gemini Enterprise bietet wählbare EU-Datenresidenz. Für vertrauliches Firmenwissen ist die Consumer-Variante damit ungeeignet, die Enterprise-Variante kann passen.
Ein sauber dokumentiertes Beispiel für automatisch aktiviertes RAG sind Claude Projects: RAG schaltet sich ein, sobald ein Projekt die Grenzen des Kontextfensters erreicht oder überschreitet, nutzt dann ein Werkzeug, das gezielt im Projektwissen sucht, und ruft nur die relevanten Ausschnitte ab. Das gibt es in allen Plänen (Free, Pro, Max, Team, Enterprise), erlaubt bis zu zehnmal mehr Inhalt und wechselt automatisch zurück in den Kontextmodus, wenn das Projektwissen wieder unter die Schwelle fällt. Bei Gemini Notebook legt Google die Architektur dagegen nicht offen; ob dort intern RAG läuft, bleibt Spekulation — bei Claude Projects ist es belegt. Wer wiederkehrende Dokumentaufgaben automatisieren will, findet mit Anthropic Agent Skills — modularen Ordnern aus Anweisungen und Skripten, die Claude bei Bedarf lädt — einen weiteren einfachen Baustein.
Häufige Fragen
Was bringt ein Wissens-Chatbot im Mittelstand?
Er beantwortet wiederkehrende Fragen aus deiner eigenen Wissensbasis — mit Quellenangabe, direkt in Teams oder Slack. Im Vertriebsinnendienst findet er in Sekunden das vergleichbare Angebot, in der Qualitätssicherung die exakte Prüfanweisung, im Service die richtige Wartungsinformation. Der Gewinn ist nicht „die KI weiß alles“, sondern konkret: Niemand sucht mehr eine halbe Stunde in PDFs, E-Mails und Excel-Tabellen.
Wie funktioniert ein Onboarding-Agent?
Technisch ist er derselbe RAG-Ansatz wie der Wissens-Chatbot, nur auf klar abgegrenzte Wissensordner gerichtet — Personal, Marketing, Fertigung. Neue Mitarbeiter stellen ihm die niedrigschwelligen Fragen („Wie läuft die Reisekostenabrechnung?“), er antwortet ausschließlich quellenbasiert. Das entlastet erfahrene Kollegen und sichert ihr Wissen, bevor sie in Rente gehen. Die eigentliche Arbeit steckt nicht im Bot, sondern in den Zugriffsrechten.
Ab wie vielen Dokumenten lohnt sich RAG?
Es gibt keinen festen Schwellenwert. Die Faustregel: Solange dein Material ins Kontextfenster passt, du eine einmalige Frage stellst oder etwas exakt extrahierst, arbeite direkt mit dem Modell. RAG wird erst nötig, wenn das Wissen nicht mehr in einen Rutsch passt, die Fragen wiederkehren oder der Bestand dynamisch aktuell gehalten werden soll — etwa über eine SharePoint-Anbindung.
Können wir Gemini Notebook für Firmenwissen nutzen?
In der Consumer-Variante besser nicht: Gibst du dort Feedback, können geschulte Teams die zugehörigen Inhalte prüfen. Für vertrauliches Wissen ist das ungeeignet. Über Workspace-/Education-Konten oder die Enterprise-Variante mit EU-Datenresidenz lässt sich das sauber lösen.
Fazit
Damit schließt sich diese siebenteilige Serie. Der wichtigste Satz zum Schluss ist zugleich der unbequemste: RAG ist ein Werkzeug, kein Selbstzweck. Wissens-Chatbot, Onboarding-Agent und Sprachassistent für Werkstatt und Außendienst sind starke Fälle — aber nur dort, wo dein Wissen wirklich über das Kontextfenster hinauswächst, wiederkehrend abgefragt wird oder dynamisch aktuell bleiben muss. Für einen einzelnen Vertrag, eine Aggregation über Zahlen oder ein Live-System ist der einfache Weg der bessere.
Der nächste Schritt ist deshalb keine Technik, sondern eine ehrliche Bestandsaufnahme: Wo liegt dein Wissen heute, in welchem Zustand, und welche zwei oder drei Fälle hätten den größten Effekt? Als Abschluss der Serie ist das mein Angebot an dich: Lass uns diese Bestandsaufnahme gemeinsam machen — kurz und unverbindlich. Schreib mir als KI-Berater in Aalen und dem Ostalbkreis, und wir finden das billigste Werkzeug, das die Aufgabe löst, nicht das teuerste. Wenn du die Serie von vorn durchgehen willst, beginnt sie bei der Kernfrage aus Teil 1: Wissen schlägt Modell.