Was ist Latenz?
Latenz bezeichnet die Zeitspanne zwischen dem Absenden einer Anfrage und dem Eintreffen der ersten Antwort. In KI-Anwendungen ist Latenz einer der zentralen Qualitätsfaktoren: Ein Chatbot, der drei Sekunden braucht, bevor er überhaupt anfängt zu antworten, fühlt sich träge an – selbst wenn die Antwort inhaltlich perfekt ist. Gerade bei interaktiven Produkten entscheidet die Latenz darüber, ob Nutzer:innen ein System als reaktionsschnell oder als hinderlich erleben.
Wie funktioniert Latenz in KI-Systemen?
Bei klassischen Webanwendungen misst man Latenz meist als einfache Request-Response-Zeit. Bei Large Language Models ist das komplizierter: Es gibt die Time to First Token (TTFT) – also wie lange es dauert, bis das erste Wort erscheint – und die Time to Last Token, die die Gesamtdauer bis zur vollständigen Antwort beschreibt. Beide Werte hängen von mehreren Faktoren ab: der Modellgröße, der Hardware (z. B. GPU oder TPU), der Auslastung des Servers und der Länge der generierten Ausgabe.
Techniken wie Streaming helfen, die wahrgenommene Latenz zu senken: Statt auf die vollständige Antwort zu warten, werden Token für Token sofort ausgegeben. Das Ergebnis wirkt deutlich schneller, selbst wenn die Gesamtdauer identisch bleibt. Weitere Ansätze sind Speculative Decoding, Quantisierung oder Prompt Caching, um Rechenaufwand zu reduzieren.
Vorteile für Unternehmen
- Bessere Nutzererfahrung: Niedrige Latenz macht KI-Produkte spürbar angenehmer – Mitarbeitende und Kund:innen arbeiten lieber mit Systemen, die sofort reagieren.
- Höhere Akzeptanz interner Tools: Wenn ein internes KI-Tool beim Tippen mitdenkt oder Vorschläge ohne Verzögerung liefert, wird es tatsächlich genutzt – träge Systeme werden umgangen.
- Wettbewerbsvorteil bei Kundenprodukten: Im direkten Vergleich zweier ähnlicher KI-Lösungen entscheiden Nutzer:innen oft unbewusst nach Geschwindigkeit.
- Kostensteuerung: Wer Latenz gezielt optimiert – etwa durch Distillation oder kleinere Modelle für einfache Aufgaben – spart Infrastrukturkosten, ohne Qualität zu opfern.
Praxisbeispiele
Beispiel 1: Kundenservice-Chatbot im Handel
Ein mittelständischer Onlinehändler betreibt einen KI-gestützten Chatbot für Produktfragen. Ursprünglich antwortet das System erst nach 2–3 Sekunden. Durch den Wechsel zu Streaming und einem kleineren, für den Anwendungsfall optimierten Modell sinkt die Time to First Token auf unter 400 Millisekunden. Die Abbruchrate im Chat geht messbar zurück, weil Kund:innen nicht mehr das Gefühl haben, auf eine Maschine zu warten.
Beispiel 2: Echtzeit-Analyse in der Produktion
Ein Maschinenbauunternehmen setzt KI ein, um Sensorwerte an der Fertigungslinie in Echtzeit zu interpretieren und Warnmeldungen auszugeben. Hier ist hohe Latenz kritisch: Reagiert das System zu langsam, ist der Fehler bereits passiert. Durch den Einsatz von Edge-Modellen direkt an der Maschine – statt einer Cloud-Anfrage – wird die Latenz auf unter 50 Millisekunden gesenkt.
Worauf du achten solltest
Latenz ist nicht gleich Latenz: Unterscheide klar zwischen TTFT und Gesamtdauer – je nach Anwendungsfall ist mal das eine, mal das andere relevanter. Außerdem lohnt es sich, Latenz und Throughput gemeinsam zu betrachten: Ein System mit sehr niedriger Latenz bei einer Anfrage kann bei vielen parallelen Anfragen einbrechen. Wer auf externe Modell-APIs setzt, sollte zudem prüfen, wie stabil die Latenzen unter Last sind – viele Anbieter haben in Stoßzeiten merklich längere Antwortzeiten. Und: Optimierungen wie Quantisierung oder kleinere Modelle können die Antwortqualität beeinflussen; das Verhältnis von Geschwindigkeit zu Qualität sollte immer evaluiert werden.
Häufige Fragen
Was gilt als akzeptable Latenz für eine KI-Anwendung?
Das hängt stark vom Kontext ab. Für interaktive Chats gilt eine TTFT unter 500 Millisekunden als gut. Für Hintergrundverarbeitung (z. B. Batch Inference) spielt Latenz eine untergeordnete Rolle – dort zählt eher der Gesamtdurchsatz.
Kann ich Latenz messen, ohne eigene Infrastruktur aufzubauen?
Ja. Die meisten KI-Anbieter liefern Latenz-Metriken in ihren Dashboards. Zusätzlich gibt es einfache Tools, mit denen du TTFT und Gesamtdauer deiner API-Calls selbst loggen und auswerten kannst.
Ist ein lokales Modell immer schneller als eine Cloud-API?
Nicht zwangsläufig. Lokale Modelle über Ollama auf einem handelsüblichen Rechner können bei großen Modellen langsamer sein als eine gut ausgestattete Cloud-API. Entscheidend ist die verfügbare Hardware – insbesondere GPU-Speicher und Rechenkapazität.
Fazit
Latenz ist kein rein technisches Thema – sie ist ein Produktmerkmal, das Nutzer:innen direkt spüren. Wer KI-Anwendungen im Unternehmen einführt oder weiterentwickelt, sollte Latenz von Anfang an als Designkriterium behandeln: klare Zielwerte definieren, regelmäßig messen und die richtigen Optimierungshebel kennen – von Streaming über Modellwahl bis hin zu Edge-Deployment.