Distillation

Was ist Distillation?

Distillation (auch Knowledge Distillation) ist eine Trainingstechnik aus dem AI-Engineering, bei der ein kleineres Student-Modell nicht von rohen Trainingsdaten lernt, sondern vom Ausgabeverhalten eines bereits trainierten, größeren Teacher-Modells. Das Ziel: ein deutlich kompakteres Modell, das die Qualität und Reasoning-Fähigkeiten des Originals so weit wie möglich beibehält. Distillation ist damit eine der effektivsten Methoden, um leistungsfähige KI-Modelle auf Hardware mit begrenzten Ressourcen zum Laufen zu bringen.

Wie funktioniert Distillation?

Statt dem Student-Modell einfach Beispiele mit festen richtigen Antworten zu zeigen, übergibt das Teacher-Modell seine Wahrscheinlichkeitsverteilungen über alle möglichen Ausgaben – sogenannte "Soft Labels". Das enthält deutlich mehr Information als ein einfaches "richtig/falsch". Wenn ein Teacher-Modell bei einer Bildklassifikation ein Bild zu 85 % als Hund und zu 12 % als Wolf einordnet, versteht das Student-Modell nicht nur die Antwort, sondern auch die Unsicherheiten und Ähnlichkeiten. Dieser Wissenstransfer passiert über eine angepasste Loss Function, die die Abweichung zwischen Student- und Teacher-Ausgaben minimiert.

In der Praxis läuft Distillation oft in Kombination mit Fine-Tuning: Das kleinere Modell wird zunächst destilliert und danach auf aufgabenspezifische Daten feinjustiert. Auch Techniken wie Quantisierung oder Pruning werden häufig ergänzend eingesetzt, um Modelle weiter zu verkleinern.

Vorteile für Unternehmen

• Geringere Infrastrukturkosten: Kleinere Modelle benötigen weniger Rechenleistung – das senkt Cloud-Kosten und ermöglicht den Betrieb auf günstigerer Hardware oder sogar auf Edge-Geräten.
• Niedrigere Latenz: Ein destilliertes Modell antwortet schneller, was besonders bei Echtzeit-Anwendungen wie Chatbots oder Produktempfehlungen entscheidend ist.
• Datenschutzkonformität durch lokalen Betrieb: Schlanke, destillierte Modelle lassen sich leichter On-Premise betreiben – sensible Unternehmensdaten verlassen das eigene Rechenzentrum nicht.
• Erhalt von Modellqualität bei reduzierter Größe: Im Vergleich zu einem komplett neu trainierten kleinen Modell erzielt ein destilliertes Modell in der Regel deutlich bessere Ergebnisse, da es vom strukturierten Wissen des Teachers profitiert.

Praxisbeispiele

Beispiel 1: Kundenservice im E-Commerce

Ein Online-Händler nutzt ein großes Large Language Model für die Beantwortung von Kundenanfragen. Das Modell ist präzise, aber teuer im Betrieb. Per Distillation wird ein deutlich kleineres Student-Modell trainiert, das die häufigsten Anfragekategorien genauso gut bearbeitet. Das destillierte Modell läuft kostengünstig auf eigenen Servern, antwortet schneller und verarbeitet keine Kundendaten über externe APIs.

Beispiel 2: Qualitätskontrolle im Maschinenbau

Ein Maschinenbauunternehmen setzt Computer Vision zur Fehlererkennung an Produktionsteilen ein. Das ursprüngliche Modell ist zu groß für die eingebetteten Systeme direkt an der Fertigungslinie. Ein destilliertes Modell mit einem Bruchteil der Parameter wird auf dem lokalen Steuerrechner der Maschine ausgeführt – mit vergleichbarer Erkennungsgenauigkeit, aber ohne Netzwerkabhängigkeit.

Worauf du achten solltest

Distillation ist kein Selbstläufer. Der Qualitätsverlust zwischen Teacher und Student hängt stark davon ab, wie stark du das Modell verkleinerst – irgendwann gibt es eine Grenze, ab der das Student-Modell nicht mehr mithalten kann. Außerdem braucht der Distillationsprozess selbst Rechenzeit und geeignete Trainingsdaten. Wenn das Teacher-Modell Halluzinationen produziert oder auf bestimmten Aufgaben schwach ist, übernimmt das Student-Modell genau diese Schwächen. Plane deshalb eine sorgfältige Evaluation ein, bevor du das destillierte Modell produktiv einsetzt.

Häufige Fragen

Ist Distillation dasselbe wie Quantisierung?

Nein. Quantisierung reduziert die numerische Präzision der Modellgewichte (z. B. von 32 auf 8 Bit). Distillation erzeugt ein strukturell kleineres Modell durch einen neuen Trainingsprozess. Beide Techniken lassen sich kombinieren.

Welche Modelle eignen sich als Teacher?

Prinzipiell jedes gut trainierte Modell. Häufig werden große Foundation Models wie GPT-4 oder proprietäre Unternehmensmodelle als Teacher genutzt. Wichtig ist, dass der Teacher auf der Zielaufgabe zuverlässig performt.

Wie viel kleiner wird das Student-Modell typischerweise?

Das variiert stark je nach Anwendungsfall und tolerierbarem Qualitätsverlust. Typische Verkleinerungsfaktoren liegen zwischen 5× und 50×. Bekannte Beispiele wie DistilBERT erreichen etwa 40 % weniger Parameter bei rund 97 % der ursprünglichen Leistung.

Fazit

Distillation ist eine der pragmatischsten Methoden im AI-Engineering, um leistungsfähige Modelle in produktionsreife, ressourcenschonende Systeme zu überführen. Für Unternehmen, die KI kosteneffizient betreiben, datenschutzkonform lokal ausführen oder auf eingebetteten Systemen einsetzen wollen, lohnt sich der Blick auf Distillation fast immer – vorausgesetzt, Qualitätsanforderungen und Trainingsdaten werden von Anfang an sauber definiert.