Ein KI-Mitarbeiter, der in der Vorführung fünf Fälle fehlerfrei löst, hat genau fünf Fälle gelöst. Über den sechsten sagt das nichts, und über den sechshundertsten erst recht nicht. Trotzdem gehen die meisten Agenten genau so in Betrieb: ein paar gelungene Versuche, allgemeines Nicken, Freigabe.
Bei einem neuen Kollegen gibt es dafür die Probezeit, und ein KI-Mitarbeiter braucht dasselbe, nur strukturierter. Dieser sechste Teil der Serie Der erste KI-Mitarbeiter zeigt, wie du prüfst, ob er bereit ist. Was er in der Zeit darf, regelt der fünfte Teil: Befugnisse.
Warum Ausprobieren nicht reicht
Sprachmodelle sind nicht deterministisch. Derselbe Eingang kann bei zwei Durchläufen zu leicht unterschiedlichen Ergebnissen führen, und kleine Änderungen an den Anweisungen verbessern manche Fälle und verschlechtern andere. Wer nach Gefühl testet, sieht die Verbesserung und übersieht die Verschlechterung, weil er zufällig andere Fälle anschaut.
Dazu kommt ein menschlicher Effekt: Nach den ersten guten Ergebnissen schauen alle weniger genau hin. Die Fehler, die in Woche drei passieren, fallen erst auf, wenn ein Kunde sich beschwert. Die Probezeit ist deshalb vor allem ein Verfahren, das verhindert, dass du dich selbst täuschst.
Der Prüfkatalog
Das Herzstück ist ein Prüfkatalog: eine Sammlung echter Fälle mit dem Ergebnis, das ihr erwartet. Für die erste Stelle reichen 30 bis 50 Fälle, und sie sollten so zusammengesetzt sein:
- Etwa zwei Drittel Alltagsfälle, so wie sie wirklich eingehen, nicht die schönsten.
- Etwa ein Viertel schwierige Fälle: unvollständige Angaben, zwei Anliegen in einer Mail, unklare Formulierungen.
- Ein paar Fälle, die eskaliert werden müssen: Beschwerden, Sonderkunden, alles, was laut Stellenbeschreibung an einen Menschen geht.
Wichtig: Die Fälle im Prüfkatalog dürfen nicht die sein, die du für die Einarbeitung als Beispiele genommen hast. Sonst prüfst du, ob der KI-Mitarbeiter auswendig kann, was er gezeigt bekommen hat.
Zu jedem Fall gehört das erwartete Ergebnis, festgelegt von der Person, die die Aufgabe heute macht. Nach jeder Änderung an Anweisungen, Wissen oder Modell laufen alle Fälle erneut durch. So siehst du schwarz auf weiß, ob eine Änderung geholfen hat oder nur an anderer Stelle etwas kaputtgemacht hat. Bei großen Katalogen kann ein zweites Modell die Bewertung übernehmen, wie im Beitrag Firmenwissen ohne Halluzinationen in die KI bringen beschrieben. Für die erste Stelle genügt ein Mensch mit einer Tabelle.
Fehler richtig zählen
Nicht jeder Fehler wiegt gleich. Wer alle Fehler in einen Topf wirft, lehnt einen brauchbaren KI-Mitarbeiter ab oder übersieht einen gefährlichen. Sortiere jeden Fehler in eine von drei Klassen:
- Harmlos: Formulierung holprig, Zusammenfassung etwas zu lang. Wird beim Lesen korrigiert, kostet Sekunden.
- Ärgerlich: Falsches Thema zugeordnet, Angabe übersehen. Kostet einen Kollegen Zeit, erreicht aber keinen Kunden.
- Teuer: Etwas Falsches wäre beim Kunden gelandet, eine Eskalation wurde nicht erkannt, eine Angabe wurde erfunden.
Die Abnahmeregel ergibt sich daraus: Harmlose Fehler sind in Maßen in Ordnung, ärgerliche müssen unter der Grenze aus der Stellenbeschreibung liegen, und bei teuren Fehlern gilt null. Ein einziger teurer Fehler im Prüfkatalog heißt: nachbessern und neu prüfen, nicht abnehmen.
Die drei Phasen der Probezeit
Phase 1: Prüfkatalog. Der KI-Mitarbeiter arbeitet nur die Fälle aus dem Katalog ab, noch nichts Echtes. Hier wird nachgebessert, bis die Abnahmeregel erfüllt ist. Das dauert erfahrungsgemäß ein bis zwei Wochen, und die meisten Änderungen betreffen die Ausnahmenliste und die Beispiele, nicht das Modell.
Phase 2: Schattenbetrieb. Der KI-Mitarbeiter bekommt die echten Eingänge und arbeitet mit, aber seine Ergebnisse gehen nirgendwohin. Der Mensch erledigt die Aufgabe wie bisher und vergleicht anschließend. Zwei Wochen Schattenbetrieb zeigen dir die Fälle, die in keinem Katalog standen, und davon gibt es immer welche.
Phase 3: Parallelbetrieb mit Freigabe. Jetzt arbeitet der KI-Mitarbeiter wirklich, auf der Stufe aus der Stellenbeschreibung, und jedes Ergebnis wird vor der Übernahme gesehen. Wer freigibt, notiert, was er geändert hat. Diese Notizen sind das wertvollste Material der ganzen Probezeit. Das Vorgehen mit Parallelbetrieb habe ich auch in Prozess richtig automatisieren beschrieben.
Die Abnahme
Am Ende der Probezeit steht eine Entscheidung, und die trifft die verantwortliche Person aus der Stellenbeschreibung, nicht die IT und nicht der Dienstleister. Die Grundlage ist ein kurzer Bericht:
- Wie viele Fälle wurden bearbeitet, wie viele davon unverändert übernommen?
- Welche Fehler traten auf, sortiert nach den drei Klassen?
- Hält der KI-Mitarbeiter den Qualitätsmaßstab aus der Stellenbeschreibung?
- Wie viel Zeit spart er, gemessen, nicht geschätzt? Wie du das sauber misst, steht in Woran du erkennst, ob die KI etwas gebracht hat.
Drei Ergebnisse sind möglich: übernehmen, verlängern mit konkreten Nachbesserungen, oder beenden. Das dritte ist kein Scheitern. Eine Stelle nach sechs Wochen sauber zu beenden, weil die Aufgabe doch nicht passt, ist deutlich billiger, als sie ein halbes Jahr halbherzig weiterlaufen zu lassen.
Im nächsten Teil geht es darum, was nach der Probezeit kommt: wie du einen KI-Mitarbeiter im Alltag führst, damit er gut bleibt.
Häufige Fragen
Wie lange dauert die Probezeit insgesamt?
Für eine schmale erste Stelle rechne mit vier bis sechs Wochen: ein bis zwei Wochen Prüfkatalog, zwei Wochen Schattenbetrieb, zwei Wochen Parallelbetrieb. Kürzer geht es selten gut, länger wird es, wenn die Stelle zu breit zugeschnitten ist.
Muss ich die Probezeit wiederholen, wenn sich das Modell ändert?
Nicht die ganze, aber den Prüfkatalog. Ein neues Modell oder eine neue Modellversion verhält sich anders, auch wenn es besser sein soll. Den Katalog einmal durchlaufen zu lassen, dauert eine Stunde und erspart dir die Überraschung im Betrieb.
Wer pflegt den Prüfkatalog nach der Probezeit?
Die verantwortliche Person. Und er wächst weiter: Jeder Fehler, der im Betrieb auffällt, wird ein neuer Fall im Katalog. So wird der KI-Mitarbeiter mit der Zeit nicht nur besser, sondern nachweisbar besser.
Fazit
Eine Probezeit für einen KI-Mitarbeiter hat drei Phasen: Prüfkatalog mit 30 bis 50 echten Fällen, Schattenbetrieb ohne Wirkung und Parallelbetrieb mit Freigabe. Fehler werden in harmlos, ärgerlich und teuer sortiert, und bei teuren gilt null. Am Ende entscheidet die verantwortliche Person anhand von Zahlen, nicht anhand der Vorführung. Wenn du für eure erste Stelle einen Prüfkatalog aufsetzen willst, unterstütze ich dich dabei im Rahmen der KI-Automatisierung.