Die häufigste Frage, die mir Geschäftsführer mittelständischer Unternehmen aus Aalen und dem Ostalbkreis stellen, lautet: Welches KI-Modell sollen wir nehmen? Meine Antwort enttäuscht regelmäßig. Das ist gerade die unwichtigste Entscheidung. Ein Sprachmodell ist wie ein neuer Mitarbeiter mit drei Doktortiteln, der am ersten Arbeitstag vor deiner Fertigung steht und nichts weiß: nicht, warum du diesen einen Kunden seit 1998 anders kalkulierst, nicht, welche Toleranz bei diesem Bauteil wirklich kritisch ist. Brillant und ahnungslos zugleich.
Ob KI in deinem Unternehmen funktioniert, entscheidet deshalb nicht das nächste größere Modell. Es entscheidet das Wissen, auf das die KI zugreifen kann. Genau darum geht es bei KI-Wissensmanagement im Mittelstand, und darum beginnt diese Serie mit diesem Thema.
Das Problem ist nicht die Intelligenz, sondern der Zugriff
Wissen liegt in mittelständischen Unternehmen praktisch nie an einem Ort. Es steckt in E-Mail-Postfächern, in Angebots-PDFs von 2019, in einer Excel-Datei auf einem Laufwerk, das nur der Vertrieb kennt, in Prüfprotokollen, Zeichnungen und vor allem in Köpfen. Nach dreißig Jahren gewachsener Praxis ist das schlicht normal.
Was das kostet, lässt sich beziffern. Für den Report „State of Teams 2025“ (März 2025) hat Atlassian 12.000 Wissensarbeiter und 200 Führungskräfte befragt. Ergebnis: Rund 25 Prozent der Arbeitszeit gehen für die Suche nach Antworten und Informationen drauf. Atlassian verkauft selbst Collaboration-Software und ist damit kein neutraler Dritter. Aber selbst wenn die Zahl zu hoch gegriffen sein sollte: Bei zehn Mitarbeitern im Innendienst wären das rechnerisch zweieinhalb Stellen, die nur suchen.
KI selbst ist dabei längst im Alltag angekommen. Laut der McKinsey-Studie „The State of AI in 2025“ vom 5. November 2025 setzen 88 Prozent der befragten Unternehmen KI regelmäßig in mindestens einem Geschäftsbereich ein, nach 78 Prozent im Vorjahr. Nur 7 Prozent geben an, KI unternehmensweit vollständig skaliert zu haben. Fast alle probieren also etwas aus, fast niemand bekommt es flächendeckend zum Laufen. Wenn dein Unternehmen dazugehört, liegt das nicht an dir. Der schwierige Teil war nie das Modell.
Fünf Grenzen, an die KI-Assistenten im Unternehmen stoßen
Der naheliegende Ansatz lautet: Wir laden unsere wichtigsten Dokumente in ChatGPT oder Copilot und fragen einfach. Für einzelne Aufgaben funktioniert das gut. Sobald es um mehr als eine Handvoll Dateien geht, treten fünf Grenzen auf.
1. Das Kontextfenster: der Blick durchs Schlüsselloch
Jedes Sprachmodell hat ein begrenztes Kontextfenster und sieht nur den Ausschnitt, den du ihm gerade zeigst. Stell dir eine Werkshalle voller Aktenordner vor, in die du durch ein Schlüsselloch schaust. Was im Sichtfeld liegt, analysiert die KI beeindruckend gut. Alles links und rechts davon existiert für sie nicht. Und sie sagt dir nicht, dass sie nichts sieht.
2. Halluzinationen sind meistens ein Kontextproblem
Genau daraus entstehen Halluzinationen: Antworten, die souverän klingen und falsch sind. Dazu kommen Ergebnisse, die mit wachsender Dokumentenmenge schlechter werden, und Antworten, die sich bei derselben Frage von Woche zu Woche ändern. Für eine Recherche ist das ärgerlich. Für ein Angebot oder eine Prüfanweisung ist es untragbar.
3. Datenschutz, Betriebsgeheimnisse und Schatten-KI
Konstruktionsdaten, Kalkulationen und Personaldaten kann man nicht in ein beliebiges Cloud-System schieben. Verbieten funktioniert genauso wenig. WalkMe, ein SAP-Unternehmen, hat 2025 zum zweiten Mal Beschäftigte in den USA zu KI am Arbeitsplatz befragt. Von denen, die KI im Job nutzen, greifen knapp vier von fünf zu Werkzeugen, die ihr Arbeitgeber nie freigegeben hat. Die Zahl gilt nur für US-Beschäftigte und ist nicht auf Deutschland übertragbar. Das Muster kenne ich trotzdem aus jedem zweiten Erstgespräch: Wo es kein gutes offizielles Werkzeug gibt, entsteht ein inoffizielles. Schatten-KI ist kein Disziplinproblem. Sie ist das Symptom eines fehlenden Angebots.
4. Abhängigkeit von einem einzigen Anbieter
Selbst wenn OpenAI, Anthropic oder Microsoft diese Grenzen irgendwann verschieben: Das gesamte Unternehmenswissen an einen Anbieter zu koppeln, bleibt riskant. Der Markt dreht sich schnell, Preise ändern sich, Modelle werden abgekündigt. Dein Wissen sollte in deinem Zugriff bleiben, auch wenn du in zwei Jahren ein lokal betriebenes Modell einsetzen willst.
5. Der Eigenbau, der nach drei Monaten einschläft
Diese Grenze sehe ich am häufigsten. Jemand Technikaffines im Haus baut mit einer Vektordatenbank einen Prototyp, der in der Demo funktioniert. Dann kommen Scans ohne Texterkennung, Dokumente in drei Versionsständen, interne Fachbegriffe und die Frage, wer pflegt, was sich ändert. Nach ein paar Monaten nutzt es niemand mehr, weil manuelles Suchen schneller ist. Diese Projekte scheitern im Betrieb, nicht in der Demo.
Was KI-Wissensmanagement im Mittelstand konkret bringt
Sind diese fünf Grenzen gelöst, verschiebt sich der Nutzen weg von netter Textgenerierung hin zu handfesten Effekten:
- Zeit, die zurückkommt: Fragen wie „Was haben wir diesem Kunden 2022 angeboten und warum?“ werden in Sekunden beantwortet, mit Quellenangabe auf das konkrete Dokument.
- Schnelleres Onboarding: Neue Mitarbeiter brauchen nach meiner Erfahrung sechs bis zwölf Monate bis zur Selbstständigkeit. Ein System, das interne Fragen rund um die Uhr beantwortet, verkürzt diese Phase und entlastet die erfahrenen Kollegen, die sonst ständig unterbrochen werden.
- Bessere Entscheidungen: Du entscheidest auf Basis dessen, was dein Unternehmen tatsächlich weiß und schon erlebt hat, statt aus dem Bauch heraus.
- Modell-Unabhängigkeit: Welches Modell diese Woche vorne liegt, wird zur austauschbaren Komponente. Genau darum geht es bei einer Wissens-KI: um eine Wissensbasis mit wechselbarem Motor.
Warum im Mittelstand mehr auf dem Spiel steht
Nach der KMU-Definition des IfM Bonn zählten 2023 rund 3,4 Millionen Unternehmen zu den kleinen und mittleren Unternehmen, also 99,2 Prozent aller Unternehmen in Deutschland. 2024 entfielen 68,4 Prozent aller Ausbildungsverhältnisse auf Kleinst-, kleine und mittlere Betriebe. Erfolgreich ist dieser Teil der Wirtschaft nicht wegen günstiger Steuern, sondern wegen tiefen Spezialwissens in engen Nischen. Wissen, das über Jahrzehnte in Werkstätten, Laboren und Kundenprojekten entstanden und in weiten Teilen nie aufgeschrieben worden ist.
Ein Konzern verliert mit einem Renteneintritt einen von 200 Wissensträgern und hat Prozessdokumentation als Puffer. Ein Zulieferer mit 80 Mitarbeitern verliert die einzige Person, die weiß, warum diese Legierung bei diesem Kunden anders vergossen wird.
Wie wertvoll solches Wissen ist, zeigt sich, sobald jemand von außen darauf zugreifen will. Metallurgisches Spezialwissen aus Jahrzehnten ist heute ein strategisches Gut: Der US-Konzern Energy Fuels hat am 23. Juni 2026 die Übernahme der VACUUMSCHMELZE aus Hanau vereinbart, eines Spezialisten für Hochleistungsmagnete. Begründet wird das mit dem Aufbau einer eigenen Lieferkette für Seltene Erden, um die Abhängigkeit von China zu verringern. Bei einem Zulieferer im Ostalbkreis steckt derselbe Substanzwert in kleinerem Maßstab. Nur ohne Investor, der ihn beziffert, und ohne Dokumentation, wenn der Werkstattmeister in Rente geht.
Der eigentliche Grund für Eile: Das Wissen geht in Rente
Datenschutz, Produktivität und Anbieterabhängigkeit sind wichtig. Der Treiber ist aber rein rechnerisch. Bis zum Jahr 2040 werden rund 13,3 Millionen Erwerbspersonen die gesetzliche Altersgrenze von 67 Jahren überschritten haben. Das entspricht 30,0 Prozent aller Erwerbspersonen, die dem Arbeitsmarkt 2025 zur Verfügung standen, wie das Statistische Bundesamt aus dem Mikrozensus 2025 berichtet.
Nachwuchs gleicht das nicht aus: Die zusammengefasste Geburtenziffer sank 2025 auf 1,32 Kinder je Frau und damit auf den niedrigsten Wert seit 1997. Damit sich eine Bevölkerung rechnerisch selbst erhält, wären rund 2,1 nötig.
Dazu kommt der Generationswechsel an der Spitze. Das KfW-Nachfolge-Monitoring Mittelstand 2025 zeigt drei Befunde, die zusammengehören:
- 57 Prozent der mittelständischen Inhaberinnen und Inhaber waren 2025 55 Jahre oder älter. Vor 20 Jahren waren es 20 Prozent.
- Bis Ende 2029 sind rund 114.000 Geschäftsaufgaben pro Jahr zu erwarten, weil nach dem eigenen Rückzug gar keine Fortführung geplant ist.
- Das sind überwiegend bewusste Entscheidungen: Hauptgründe sind das erreichte Rentenalter mit 52 Prozent und fehlendes Interesse in der Familie mit 47 Prozent. Nur 21 Prozent nennen eine erfolglose Nachfolgersuche.
Ob geplant oder ungeplant, für das Wissen ist das Ergebnis dasselbe: Es verlässt das Unternehmen. Und anders als bei früheren Generationswechseln stehen nicht genug Nachfolger bereit, denen man es über Jahre weitergeben könnte. Wissenstransfer von Kopf zu Kopf skaliert demografisch nicht mehr.
Wo du anfängst, wenn du es ernst meinst
Der erste Schritt ist keine Technologieauswahl. Es ist eine Bestandsaufnahme.
- Die teuersten Fragen sammeln. Notiere zwei Wochen lang, welche Fragen immer wieder gestellt werden und wer sie beantworten muss. Diese Liste ist deine Anforderungsspezifikation.
- Die Risikoköpfe identifizieren. Wer geht in den nächsten fünf Jahren, und welches Wissen existiert nur bei dieser Person?
- Einen Bereich auswählen. Nicht das ganze Unternehmen auf einmal. Nimm den Bereich mit dem höchsten Suchaufwand, oft Vertriebsinnendienst, Service oder Qualitätssicherung.
- Klären, was rausdarf. Welche Daten dürfen in eine Cloud, welche nicht? Diese Frage vorher zu beantworten spart später Monate.
- Klein starten. Für einen klar abgegrenzten Bereich sind wenige Wochen bis zur ersten nutzbaren Lösung realistisch. Ein funktionierendes System für einen Bereich schlägt ein Konzept für alle.
Dein nächster Schritt: Wenn du diese fünf Punkte nicht allein durchgehen willst, vereinbare ein unverbindliches Erstgespräch. Darin klären wir in einer halben Stunde, wo bei dir der größte Suchaufwand liegt und mit welchem Bereich du startest. Danach hast du eine Einschätzung in der Hand, keine Präsentation. Wie es dann weitergeht, siehst du in der KI-Beratung und in der Umsetzung als KI-gestützte Prozesse.
Häufige Fragen zu KI-Wissensmanagement
Brauche ich für KI-Wissensmanagement ein eigenes KI-Modell?
Nein. Ein eigenes Modell zu trainieren ist für den Mittelstand fast immer der falsche Weg: teuer, langsam und beim nächsten Modellsprung veraltet. Der Hebel liegt darin, vorhandene Modelle kontrolliert auf dein Unternehmenswissen zugreifen zu lassen. Das Modell bleibt austauschbar, deine Wissensbasis nicht.
Ab welcher Unternehmensgröße lohnt sich KI-Wissensmanagement?
Nicht die Mitarbeiterzahl entscheidet, sondern die Wissensdichte. Ein Ingenieurbüro mit 15 Personen und tausenden Projektdokumenten profitiert oft stärker als ein Handelsbetrieb mit 100 Beschäftigten und standardisierten Abläufen. Faustregel: Sobald mehrfach pro Woche jemand nachfragen muss, weil die Antwort nirgends auffindbar ist, lohnt sich der Einstieg.
Ist KI-Wissensmanagement DSGVO-konform umsetzbar?
Ja, Datenschutz ist lösbar, wenn er vorne eingeplant und nicht hinten angeflickt wird. Entscheidend sind drei Punkte: eine klare Klassifizierung, welche Daten das Haus verlassen dürfen, eine Architektur, in der die Wissensbasis unter deiner Kontrolle bleibt, und die Option, sensible Bereiche mit lokal betriebenen Modellen abzudecken. Das ist deutlich besser kontrollierbar als der Status quo, in dem Mitarbeiter ungeprüfte Werkzeuge auf eigene Faust nutzen.
Was kostet KI-Wissensmanagement im Mittelstand?
Den Preis treiben zwei Faktoren: die Qualität deiner Dokumente, also saubere Dateien gegenüber Scans ohne Texterkennung, und die Anzahl der anzubindenden Quellsysteme. Für einen abgegrenzten Erstbereich mit ein bis zwei Quellen liegen Aufbau und erstes Betriebsjahr erfahrungsgemäß unter dem, was eine einzige Innendienststelle im Jahr kostet. Eine belastbare Zahl bekommst du, sobald Dokumentenlage und Quellsysteme bekannt sind.
Fazit
Die Diskussion über das nächste größere Modell lenkt vom eigentlichen Engpass ab. Entscheidend ist, worauf eine KI in deinem Unternehmen überhaupt zugreifen kann, und das ist in den meisten Betrieben, die ich sehe, ungelöst. Wirtschaftlich spricht schon genug dafür: Rund ein Viertel der Arbeitszeit geht laut Atlassian in die Suche, und nur 7 Prozent der von McKinsey befragten Unternehmen haben KI unternehmensweit skaliert. Der Grund für Eile ist aber demografisch. Wenn bis 2040 rund 13,3 Millionen Erwerbspersonen die Altersgrenze überschreiten und mehr als die Hälfte der mittelständischen Inhaber bereits 55 oder älter ist, läuft eine Uhr, die sich nicht anhalten lässt. Wissen, das vor dem Renteneintritt nicht gesichert wird, lässt sich danach nur noch teuer und lückenhaft rekonstruieren. In Teil 2 dieser Serie klären wir, was KI-Wissensmanagement technisch bedeutet und warum es sich grundlegend von Dokumentenablagen und „Second Brain“-Ansätzen unterscheidet.