Damit eine KI mit eurem Firmenwissen arbeitet, muss man sie in fast allen Fällen nicht trainieren. Man gibt ihr zu jeder Frage die passenden Stellen aus euren Dokumenten mit, das Verfahren heißt RAG, oder lässt sie in einem gepflegten Wissensbestand nachschlagen. So bleibt das Wissen aktuell, und die KI kann ihre Quelle nennen.
Was ist RAG, einfach erklärt?
RAG steht für Retrieval-Augmented Generation, auf Deutsch etwa „durch Nachschlagen ergänzte Textgenerierung". Das Prinzip: Bevor das Sprachmodell antwortet, sucht ein System in euren Dokumenten die Stellen heraus, die zur Frage passen, und gibt sie dem Modell mit. Das Modell formuliert die Antwort dann auf Basis dieser Stellen und kann die Quelle nennen.
Man kann es sich vorstellen wie einen neuen Kollegen mit sehr gutem Gedächtnis für Sprache, aber ohne Wissen über euren Betrieb, dem man zu jeder Frage die richtigen Seiten aus dem Handbuch aufschlägt. Die Technik dahinter, von Embeddings bis zur Vektordatenbank, erklärt RAG einfach erklärt.
Muss ich eine eigene KI trainieren?
In fast allen Fällen nein, und das ist der häufigste Irrtum in diesem Thema. Es gibt drei Wege, einer KI euer Wissen zu geben:
| Weg | Was passiert | Wann sinnvoll |
|---|---|---|
| Eigenes Modell trainieren | Ein Sprachmodell wird von Grund auf mit eigenen Daten gebaut | Praktisch nie im Mittelstand: sehr teuer, braucht riesige Datenmengen |
| Fine-Tuning | Ein fertiges Modell wird mit eigenen Beispielen nachtrainiert | Für einen bestimmten Stil oder ein festes Format, nicht für Faktenwissen |
| RAG oder LLM-Wiki | Ein fertiges Modell bekommt zu jeder Frage die passenden Stellen aus euren Dokumenten | Der Standardweg für Firmenwissen: aktuell, nachvollziehbar, mit Quellenangabe |
Der Grund: Ein trainiertes Modell müsste bei jeder Änderung eurer Preise oder Abläufe neu trainiert werden, und es kann nicht sagen, woher eine Antwort stammt. RAG dagegen liest immer den aktuellen Stand und zeigt die Quelle.
RAG oder LLM-Wiki: Welcher Weg passt?
Nicht jedes Firmenwissen braucht eine Vektordatenbank. Bei überschaubaren Mengen reicht ein gepflegter Ordner mit Textdateien, den das Modell direkt liest, ein sogenanntes LLM-Wiki. Eine grobe Orientierung aus der Praxis:
- Bis etwa 50 gepflegte Dokumente, ohne unterschiedliche Zugriffsrechte: LLM-Wiki. Sofort nutzbar, günstig im Betrieb.
- Einige Hundert Dokumente, unterschiedliche Rollen, Quellenangabe zwingend: RAG mit Suche und Metadaten.
- Dazwischen: ein Wiki in Themenordnern, in dem ein Agent gezielt nachschlägt.
Die ausführliche Entscheidungshilfe mit Kostenrechnung steht in RAG oder LLM-Wiki.
Ist ChatGPT ein RAG?
Nicht von sich aus. ChatGPT, Claude und die anderen großen Modelle antworten zunächst aus dem, was sie im Training gelernt haben. Sobald du Dateien in ein Projekt lädst oder eine Websuche aktivierst, nutzen sie aber genau das RAG-Prinzip: Sie holen sich passende Stellen und antworten auf deren Basis. Ein eigenes RAG-System für Firmenwissen macht dasselbe, nur mit euren Dokumenten, euren Rechten und einer Suche, die auf eure Inhalte abgestimmt ist.
Was ist der Unterschied zwischen LLM und RAG?
Das LLM, also das große Sprachmodell, ist der Teil, der versteht und formuliert. RAG ist das Verfahren drumherum, das dem Modell die richtigen Informationen liefert. Ein LLM ohne RAG kennt euren Betrieb nicht. RAG ohne LLM ist nur eine Suchmaschine. Erst zusammen entsteht eine KI, die Fragen zu eurem Firmenwissen beantwortet.
Wie baue ich einen KI-Chatbot für mein Firmenwissen?
- Fragen sammeln, nicht Dokumente. Eine Woche lang notieren, welche Fragen im Betrieb gestellt werden. Das zeigt, welches Wissen wirklich gebraucht wird.
- Das Wissen ordnen. Veraltete Fassungen aussortieren, Doppeltes zusammenführen, Verantwortliche festlegen. Warum ein Stapel PDFs noch kein Wissen ist, beschreibt Warum deine Dokumente für KI unbrauchbar sind.
- Dokumente aufbereiten. Scans in Text umwandeln, sinnvoll zerlegen, mit Metadaten versehen. Details in Von der PDF zur Antwort.
- Die Suche richtig bauen. Reine Bedeutungssuche verfehlt Artikelnummern und Normen, deshalb gehört eine Stichwortsuche dazu, siehe Hybrid Search und Reranking.
- Mit echten Fragen testen. Ein Prüfkatalog aus 30 bis 50 Fragen mit Soll-Antworten zeigt, ob das System trägt, bevor es jemand nutzt.
- Pflege festlegen. Wer aktualisiert was, wann? Ohne diesen Schritt veraltet jede Wissens-KI innerhalb weniger Monate.
Wie ein Wissens-Chatbot und ein Onboarding-Agent im Alltag aussehen, und wann RAG das falsche Werkzeug ist, zeigt Wissens-Chatbot und Onboarding-Agent.
Was kostet eine KI-Wissensdatenbank?
Ein Assistent auf Firmenwissen liegt nach meinen Projektwerten beim Aufbau typischerweise zwischen 8.000 und 25.000 Euro, im Betrieb zwischen 100 und 400 Euro im Monat. Ein LLM-Wiki für einen überschaubaren Bestand kommt mit deutlich weniger aus, oft genügt ein Unternehmenskonto bei einem großen Anbieter und ein paar Tage Aufbereitung. Woraus sich die Preise zusammensetzen, steht in Was kostet ein KI-Projekt?, einen Überblick über alle Kosten gibt der Ratgeber Was kostet KI im Unternehmen?
Woran scheitern Wissens-KI-Projekte?
- Ungeordnete Quellen: Die KI findet drei Fassungen derselben Regel und nimmt die falsche.
- Keine Tests: Nach ein paar gelungenen Vorführungen geht das System live, und die Fehler fallen erst beim Kunden auf.
- Keine Pflege: Niemand ist zuständig, der Bestand veraltet, das Vertrauen sinkt, die Nutzung auch.
- Falsche Erwartung: Wer „alle Dokumente reinkippen" will, bekommt ein teures System, das die Nadel im Heuhaufen nicht findet.
Warum am Ende das Wissen wichtiger ist als das Modell, beschreibt Wissen schlägt Modell.
Wo die Daten liegen: Cloud, EU oder eigener Server
Technisch gibt es drei Varianten: große Cloud-Anbieter mit Unternehmenstarif, Plattformen mit Datenhaltung in der EU und Modelle, die komplett auf eigener Hardware laufen. Welche Variante bei euch in Frage kommt, hängt von der Art der Daten ab. Leg deshalb fest, welche Dokumente in welches System dürfen, bevor die ersten Dateien hochgeladen werden. Wann ein lokal betriebenes Modell technisch und wirtschaftlich Sinn ergibt, zeigt Ab wann macht lokale KI Sinn?
Häufige Fragen
Kann ich ChatGPT mit eigenen Daten nutzen?
Ja. In einem Unternehmenskonto lassen sich Dokumente in Projekte laden, dann antwortet das Modell auf deren Basis. Für größere Bestände, unterschiedliche Zugriffsrechte und Quellenangaben in jeder Antwort braucht es ein eigenes RAG-System.
Was kostet eine KI-Wissensdatenbank?
Ein Assistent auf Firmenwissen kostet beim Aufbau typischerweise 8.000 bis 25.000 Euro und im Betrieb 100 bis 400 Euro im Monat. Kleine Bestände kommen mit einem gepflegten Ordner in einem Unternehmenskonto aus.
Wie aktuell sind die Antworten einer Wissens-KI?
So aktuell wie die Dokumente. RAG liest bei jeder Frage den aktuellen Stand, deshalb entscheidet die Pflege des Wissensbestands über die Qualität, nicht das Modell.
Wie verhindere ich erfundene Antworten?
Durch eine gute Suche, die Pflicht zur Quellenangabe und einen Prüfkatalog mit echten Fragen. Ganz ausschließen lässt sich das nicht, deshalb bleibt eine KI-Antwort ein prüfbarer Vorschlag.
Ich baue eure KI-Wissensdatenbank, vom Aufräumen der Dokumente bis zum Prüfkatalog mit echten Fragen. Wissens-KI →