Mandats-, Patienten- oder Personaldaten gehören in kein öffentliches KI-Tool. Wie lokale Modelle auf eigener Hardware den Spagat zwischen Nutzen und Datenschutz lösen.
„Unsere Daten sind zu sensibel für KI“ höre ich oft, und der Satz ist zur Hälfte richtig. Zu sensibel für ein öffentliches Cloud-Tool mit US-Servern und unklarer Trainingsnutzung? Absolut. Zu sensibel für KI insgesamt? Nein. Denn Sprachmodelle laufen längst auch dort, wo eure Daten ohnehin schon liegen: auf eigener Hardware oder in einem EU-Rechenzentrum.
Was „lokal“ konkret heißt
Modelle wie Mistral, Gemma oder Qwen (und viele andere) lassen sich über Werkzeuge wie Ollama auf einem eigenen Rechner oder Server betreiben. Die Daten verlassen das Haus nicht: keine Übertragung an Dritte, keine Trainingsnutzung, volle Kontrolle über Speicherung und Löschung. Ich betreibe selbst eine solche Umgebung und arbeite täglich damit, auch für die DSGVO-konforme Arbeit mit Kundendaten.
Wofür sich lokale KI heute wirklich eignet
- Dokumente erschließen: Rechnungserfassung, Ablage, Klassifizierung: Inhalte werden verstanden und einsortiert, ohne dass etwas nach außen geht.
- Internes Wissen durchsuchbar machen: Fragen an die eigene Dokumentenbasis, Antworten mit Quellenangabe.
- Anonymisieren als Brücke: Sensible Stellen lokal erkennen und ersetzen; erst dann darf ein leistungsfähigeres Cloud-Modell den Rest übernehmen.
Aus der Praxis: Für die eigene Kundenverwaltung habe ich ein Tool entwickelt, das Angebote, Rechnungen, Verträge, Dokumente und Aufgaben bündelt, mit integrierter lokaler KI, die Fragen zu Kunden und Projekten direkt am eigenen Rechner beantwortet. Sensible Angaben lassen sich vorab automatisch anonymisieren, von leistungsstarken Cloud-Modellen bearbeiten und wieder rückcodieren: KI-Produktivität ohne Datenschutz-Kompromiss.
Und die Grenzen?
Ehrlich gesagt: Lokale Modelle sind kleiner als die großen Cloud-Systeme. Für hochkomplexe Aufgaben bleibt die Cloud stärker. Die Kunst liegt in der Aufteilung: sensible Schritte lokal, unkritische dort, wo die Leistung am größten ist. Das ist keine Ideologie-Frage, sondern eine Architektur-Entscheidung pro Anwendungsfall.
Wenn ihr wissen wollt, ob eure Fälle lokal abbildbar sind: Genau das lässt sich in einer Status- & Potenzialanalyse sauber beantworten.