Ab wann macht lokale KI Sinn? Die vier Schwellen für Unternehmen

Kaum ein Thema wird bei KI so ideologisch diskutiert wie die Frage, wo das Modell läuft. Die eine Seite sagt: Cloud ist ein Datenschutz-Risiko, alles muss ins eigene Haus. Die andere sagt: Lokale Modelle sind ein teures Hobby, die Cloud ist immer besser und billiger. Beide haben in bestimmten Fällen recht — und genau darum ist die pauschale Frage „Cloud oder lokal?“ die falsche.

Die richtige Frage lautet: Ab wann kippt die Rechnung? Es gibt vier klar benennbare Schwellen, ab denen lokale KI vom Nice-to-have zur vernünftigen Entscheidung wird. Wird keine davon erreicht, ist die Cloud die bessere Wahl — und dieser Artikel spart dir fünfstellige Hardware-Ausgaben. Wird eine erreicht, weißt du, warum.

Erst mal sauber trennen: Was heißt hier eigentlich lokal?

In der Praxis meinen Leute drei sehr verschiedene Dinge, wenn sie „lokale KI“ sagen. Die Unterscheidung ist wichtig, weil Kosten und Aufwand um den Faktor 20 auseinanderliegen:

• Stufe 1 — auf dem Arbeitsplatzrechner. Ein Modell läuft direkt auf dem Laptop oder Desktop, etwa über Ollama oder LM Studio. Kostet nichts außer der vorhandenen Hardware, ist in einer Stunde eingerichtet, taugt für Einzelpersonen und Tests.
• Stufe 2 — auf einem eigenen Server im Haus. Ein Rechner mit passender Grafikkarte im Serverraum, den das ganze Team über den Browser nutzt. Das ist gemeint, wenn Unternehmen „lokale KI“ sagen.
• Stufe 3 — eigene Instanz im deutschen oder europäischen Rechenzentrum. Technisch Cloud, aber deine Instanz, dein Vertrag, dein Rechtsraum. Für den Datenschutz oft genauso gut wie Stufe 2 — ohne dass jemand Hardware betreuen muss.

Viele Unternehmen, die glauben, sie brauchen einen Server im Keller, brauchen eigentlich Stufe 3: digitale Souveränität, nicht physische Nähe. Halte das im Hinterkopf, wenn du die folgenden Schwellen durchgehst.

Schwelle 1: Deine Daten dürfen das Haus rechtlich nicht verlassen

Das ist die härteste Schwelle — und die einzige, bei der die Wirtschaftlichkeit egal ist. Sie ist erreicht, wenn du regelmäßig mit Daten arbeitest, bei denen eine Übermittlung an einen Cloud-Anbieter rechtlich nicht sauber darstellbar ist:

• Berufsgeheimnisse: Kanzleien, Steuerberatung, Arztpraxen, Psychotherapie. Wer der Schweigepflicht nach § 203 StGB unterliegt, hat bei der Weitergabe an Dienstleister zusätzliche Hürden, die über die DSGVO hinausgehen.
• Besondere Kategorien nach Art. 9 DSGVO: Gesundheitsdaten, biometrische Daten, Gewerkschaftszugehörigkeit, religiöse Überzeugung. Hier wird jede Risikoabwägung bei Drittstaaten-Transfers extrem eng.
• Echte Betriebsgeheimnisse: Konstruktionsdaten, Rezepturen, Preiskalkulationen, Quellcode — alles, wo schon die Möglichkeit eines Zugriffs ein Problem ist, unabhängig von der Rechtslage.

Wichtig zur Einordnung: Cloud-KI ist nicht pauschal unzulässig. Mit einem Auftragsverarbeitungsvertrag nach Art. 28 DSGVO, EU-Serverstandort und sauberer Dokumentation lassen sich die allermeisten Anwendungsfälle im Mittelstand rechtskonform in der Cloud abbilden — wie genau, steht in unserem Überblick zu KI DSGVO-konform einsetzen. Kostenlose Privat-Accounts von ChatGPT und Co. ohne AV-Vertrag sind im Unternehmen dagegen tatsächlich tabu. Diese Schwelle greift also nur bei der harten Kategorie — und dann sofort.

Schwelle 2: Das Volumen ist hoch genug, dass Hardware billiger wird

Hier wird gerechnet statt gefühlt. Cloud-KI kostet pro Nutzung: entweder als Lizenz pro Mitarbeiter (üblicherweise 20 bis 30 Euro pro Person und Monat) oder nach Verbrauch über eine Schnittstelle. Lokale KI kostet einmal viel und dann fast nichts — außer Strom und Betreuung.

Die Schwelle liegt dort, wo die laufenden Cloud-Kosten die Investition plus Betrieb übersteigen. Ein realistisches Beispiel:

• 5 Mitarbeiter mit Lizenzen: rund 125 Euro im Monat, 1.500 Euro im Jahr. Ein Server für 6.000 Euro brauchte über vier Jahre zur Amortisation — länger als die Hardware konkurrenzfähig bleibt. Cloud gewinnt klar.
• 25 Mitarbeiter: rund 625 Euro im Monat, 7.500 Euro im Jahr. Jetzt rechnet sich ein eigener Server rechnerisch im ersten Jahr — wenn jemand ihn betreut.
• Massenverarbeitung: Wenn du täglich tausende Dokumente, Mails oder Datensätze durch ein Modell schickst, kippt die Rechnung noch früher, weil Verbrauchspreise linear mitwachsen und lokale Hardware nicht.

Der Haken, den Anbieter gern verschweigen: Die Hardware ist der kleinere Kostenblock. Dazu kommen Strom, Updates, Modellpflege, Ausfallsicherheit — und vor allem ein Mensch, der sich zuständig fühlt. Rechne mit einem halben bis einem Tag Betreuung pro Monat. Wer diesen Posten unterschlägt, rechnet sich lokale KI schön.

Schwelle 3: Du willst nicht abhängig von einem Anbieter sein

Diese Schwelle ist weicher, aber für viele Geschäftsführer die entscheidende. Sie ist erreicht, wenn ein KI-Prozess so tief in deinem Betrieb sitzt, dass ein Ausfall oder eine Änderung beim Anbieter weh tut:

• Preise ändern sich — einseitig, mit ein paar Wochen Vorlauf.
• Modelle verschwinden. Anbieter stellen Versionen ab. Dein sorgfältig getesteter Prompt verhält sich über Nacht anders.
• Nutzungsbedingungen ändern sich — plötzlich ist dein Anwendungsfall eingeschränkt.

Ein Modell mit offenen Gewichten auf eigener Hardware läuft dagegen in fünf Jahren noch genauso, wie es heute läuft. Das ist kein Effizienz-, sondern ein Risikoargument — und legitim, sobald ein Prozess geschäftskritisch wird. Für einen Marketingtext ist es irrelevant. Für die automatische Bearbeitung aller Kundenanfragen nicht.

Schwelle 4: Verfügbarkeit und Latenz sind Teil des Produkts

Die seltenste, aber klarste Schwelle. Sie greift, wenn KI in einem Ablauf steckt, der nicht warten kann oder keine Internetverbindung hat: Produktionsanlagen mit Bildprüfung, Maschinensteuerung, mobile Einsätze ohne stabiles Netz, Echtzeit-Sprachverarbeitung. Wenn eine Internetstörung deinen Prozess stoppt, ist die Frage nach dem Modellstandort beantwortet.

Was du wirklich an Hardware brauchst

Wenn eine Schwelle erreicht ist, wird es konkret. Die entscheidende Größe ist der Grafikspeicher (VRAM) — er bestimmt, welche Modellgröße überhaupt läuft:

• 16 GB VRAM: Modelle mit 7 bis 14 Milliarden Parametern. Reicht für Textzusammenfassungen, Übersetzungen, Standard-Korrespondenz und einfache RAG-Anwendungen.
• 24 bis 32 GB VRAM: Modelle bis etwa 32 Milliarden Parameter. Das ist der Bereich, in dem lokale Modelle für die meisten Büroaufgaben wirklich brauchbar werden.
• Mehrere Karten oder Profi-Hardware: nötig für 70-Milliarden-Modelle und aufwärts, also dort, wo es an die Qualität großer Cloud-Modelle heranreichen soll.

Fertige Serverpakete für Unternehmen starten aktuell bei etwa 5.000 Euro netto für die Einstiegsklasse und liegen bei rund 12.000 Euro für die Mittelklasse mit zwei starken Karten. Ein wichtiger Hinweis zum Zeitpunkt: Der Hardwaremarkt ist 2026 angespannt. Grafikkarten werden vielerorts deutlich über Listenpreis gehandelt, und wegen der weltweiten Speicherknappheit hat Apple im März 2026 sogar die 512-GB-Variante des Mac Studio aus dem Konfigurator genommen, im Mai folgte die 256-GB-Stufe. Wer heute kauft, zahlt Aufschlag — ein weiteres Argument, die Schwellenfrage ehrlich zu beantworten, bevor bestellt wird.

Bei den Modellen selbst hat sich die Lage stark entspannt: Qwen3 gilt aktuell als bester Allrounder mit sehr guter Mehrsprachigkeit und liegt unter Apache-2.0-Lizenz vor, Mistral Small ist die schlanke europäische Option, gpt-oss und Gemma decken kleinere Hardware ab. Achte bei der Auswahl auf die Lizenz: Llama läuft nicht unter einer klassischen Open-Source-Lizenz, sondern unter Metas Community-Lizenz mit Sonderregeln ab 700 Millionen monatlichen Nutzern — für den Mittelstand praktisch irrelevant, aber ein Punkt, den deine Dokumentation kennen sollte.

Wann lokale KI die falsche Entscheidung ist

Genauso wichtig wie die Schwellen sind die Gegenanzeigen. Lass es sein, wenn einer dieser Punkte auf dich zutrifft:

• Niemand ist zuständig. Ohne IT-Verantwortlichen oder Dienstleister wird der Server nach drei Monaten zur Karteileiche mit veralteten Modellen.
• Du brauchst die absolute Spitzenqualität. Die besten Cloud-Modelle sind offenen Modellen bei komplexem Denken und langen Kontexten weiterhin voraus. Wer genau das braucht, bekommt es lokal nur mit erheblichem Hardware-Einsatz.
• Der Anwendungsfall steht noch nicht. Erst den Prozess klären, dann die Infrastruktur. Hardware zu kaufen, um danach zu überlegen, wofür — das ist die teuerste Reihenfolge.
• Es geht nur um Textbausteine und Marketing. Dafür Hardware anzuschaffen, ist wie ein eigenes Kraftwerk für die Kaffeemaschine.

Der Mittelweg, den die meisten wählen sollten

In der Praxis gewinnt fast immer der hybride Ansatz — und zwar nicht als fauler Kompromiss, sondern als saubere Aufteilung nach Datenklasse:

• Unkritische Aufgaben (Texte, Recherche, Ideen, Code ohne Geschäftsgeheimnis) laufen über die Cloud, weil dort die beste Qualität pro Euro steht.
• Sensible Aufgaben (Kundendaten, Personal, Verträge, interne Dokumente) laufen lokal oder über eine eigene Instanz im EU-Rechenzentrum.
• Eine schriftliche Regel sagt dem Team, was wohin gehört. Ohne diese Regel nützt die beste Technik nichts.

Wenn dir Stufe 3 reicht — eigene Instanz, europäischer Rechtsraum, keine eigene Hardware — sind Plattformen wie Langdock der schnellste Weg dorthin. Die technischen und wirtschaftlichen Vorteile des lokalen Betriebs haben wir in einem eigenen Artikel im Detail aufgeschlüsselt: Lokale KI im Mittelstand.

Häufige Fragen zu lokaler KI

Ab wie vielen Mitarbeitern lohnt sich ein eigener KI-Server?

Als grobe Faustregel: Ab etwa 20 bis 25 aktiven Nutzern übersteigen die Lizenzkosten die jährlichen Kosten eines eigenen Servers. Darunter lohnt es sich fast nur, wenn eine der anderen Schwellen greift — also Datenschutz, Unabhängigkeit oder Offline-Fähigkeit. Rechne dabei immer die Betreuungszeit mit ein, nicht nur den Kaufpreis.

Ist lokale KI automatisch DSGVO-konform?

Nein, aber sie vereinfacht vieles. Weil keine Daten an Dritte gehen, entfallen AV-Vertrag und Drittlandtransfer für diesen Teil der Verarbeitung. Die übrigen Pflichten bleiben: Rechtsgrundlage, Verzeichnis der Verarbeitungstätigkeiten, Betroffenenrechte, Löschkonzept. Auch der EU AI Act gilt unabhängig davon, wo das Modell läuft — die Pflichten für KMU hängen am Anwendungsfall, nicht am Serverstandort.

Sind lokale Modelle schlechter als ChatGPT?

Bei allgemeinen Aufgaben liegen die besten Cloud-Modelle vorn, besonders bei komplexem Denken und sehr langen Texten. Für die typischen Büroaufgaben — zusammenfassen, formulieren, klassifizieren, aus eigenen Dokumenten antworten — sind gute offene Modelle inzwischen absolut ausreichend. Und mit deinem eigenen Firmenwissen im Hintergrund liefert ein mittelgroßes lokales Modell oft nützlichere Antworten als ein Spitzenmodell ohne Kontext.

Kann ich klein anfangen und später wachsen?

Ja, und genau das ist der empfohlene Weg. Starte mit einem Modell auf einem einzelnen Rechner, um Anwendungsfälle zu testen und Erfahrung zu sammeln. Wenn sich zeigt, was das Team wirklich nutzt, entscheidest du auf Basis echter Zahlen über Server oder eigene Instanz. Die Modelle und Werkzeuge sind dieselben — du wechselst nur den Ort.

Fazit: Erst die Schwelle, dann die Rechnung

Lokale KI ist kein Bekenntnis, sondern eine Rechenaufgabe mit vier Auslösern: rechtlich unantastbare Daten, ausreichendes Volumen, kritische Abhängigkeit oder harte Verfügbarkeitsanforderungen. Ist keiner davon erfüllt, sparst du dir mit der Cloud Geld und Nerven — und niemand muss sich um einen Server kümmern. Ist einer erfüllt, wird lokal schnell zur klar besseren Entscheidung.

Der teuerste Fehler ist beides gleichzeitig: Hardware kaufen, ohne zu wissen wofür — oder aus Angst vor dem Datenschutz gar nichts tun, während der Wettbewerb längst automatisiert. Wenn du wissen willst, welche Schwelle bei dir greift und was sie konkret kostet, rechnen wir das in einer kostenlosen Prozessanalyse gemeinsam durch. Danach hast du eine Zahl statt eines Bauchgefühls.