„Kann das nicht bei uns im Haus laufen?“ Diese Frage kommt in fast jedem Erstgespräch, meist direkt nachdem wir über KI gesprochen haben. Dahinter steckt selten Technikbegeisterung. Dahinter steckt die Sorge, dass Konstruktionszeichnungen, Kalkulationen oder Personaldaten auf einem Server irgendwo landen, über den niemand im Unternehmen die Kontrolle hat.
Die gute Nachricht: Lokale KI funktioniert. Sie läuft auf Ihrer eigenen Hardware, kostet keine Gebühren pro Anfrage und braucht keine Internetverbindung. Die weniger gute: Sie ist nicht so gut wie die großen Cloud-Modelle. Die Frage ist nur, wie groß dieser Abstand heute noch ist und ob er für Ihren Anwendungsfall überhaupt eine Rolle spielt.
Deshalb haben wir es ausprobiert.
Der Test: gleicher Auftrag, zwei Modelle
Wir haben eine Landingpage bauen lassen. Einmal von einem lokalen Modell, das über Ollama auf eigener Hardware läuft, einmal von Claude Code aus der Cloud. Derselbe Auftrag, wortgleich, kein Nachbessern. Danach haben wir beide Ergebnisse nebeneinandergelegt und uns Codequalität, Struktur, Oberfläche und Geschwindigkeit angesehen.
Das Ergebnis in einem Satz: Der Unterschied ist noch spürbar, aber die lokale KI holt schnell auf. Das Cloud-Modell liefert die sauberere Struktur und die durchdachtere Oberfläche. Das lokale Modell kommt zu einem brauchbaren Ergebnis, braucht dafür aber mehr Anläufe und mehr Führung durch den Menschen davor.
Vor einem Jahr wäre dieser Vergleich noch peinlich ausgefallen. Das ist der eigentliche Befund.
Was lokale KI wirklich bringt
Drei Argumente sprechen dafür, und sie sind unabhängig voneinander stark.
Die Daten bleiben im Haus. Das ist der Hauptgrund, warum das Thema im Mittelstand überhaupt auf den Tisch kommt. Kein Vertrag mit einem Anbieter, keine Frage nach dem Serverstandort, keine Diskussion mit dem Betriebsrat über Beschäftigtendaten. Was auf Ihrem Server passiert, bleibt auf Ihrem Server.
Keine Kosten je Anfrage. Ein lokales Modell kostet einmal Hardware und dann Strom. Ob Ihre Belegschaft es zehnmal am Tag benutzt oder zehntausendmal, ändert an der Rechnung nichts. Bei Cloud-Modellen wächst der Posten mit der Nutzung, und genau das macht Kalkulationen schwierig, solange niemand weiß, wie stark ein Werkzeug angenommen wird.
Es läuft ohne Netz. Für eine Werkhalle ohne stabiles WLAN oder einen Außendiensteinsatz im Funkloch ist das kein Nebenaspekt, sondern die Voraussetzung.
Und was es kostet
Der Preis wird selten mitgenannt, deshalb hier deutlich: Sie zahlen mit Qualität, mit Hardware und mit Betreuung.
Bei kurzen, klar umrissenen Aufgaben fällt der Qualitätsunterschied kaum ins Gewicht. Eine Textzusammenfassung, eine Suche in Ihren eigenen Dokumenten, das Herausziehen von Werten aus einer Rechnung: Da kommt ein lokales Modell heute erstaunlich weit. Sobald eine Aufgabe aber über mehrere Schritte läuft, viele Randbedingungen hat oder eigenständiges Nachdenken verlangt, wird der Abstand sichtbar. Genau das zeigt der Vergleich im Video.
Dazu kommt die Hardware. Ein brauchbares Modell braucht eine Grafikkarte mit ordentlich Speicher. Der Server, auf dem bei Ihnen die Buchhaltung läuft, reicht dafür nicht. Und jemand muss das Ding betreuen: Modelle aktualisieren, Speicher im Blick behalten, bei Problemen ran. Das ist keine große Sache, aber es ist auch nicht nichts.
Muss Ihre KI wirklich lokal laufen?
Die Antwort hängt an drei Fragen, und in den meisten Erstgesprächen stellt sich heraus, dass die erste schon alles entscheidet.
Muss Ihre KI lokal laufen?
Drei Fragen, eine Einschätzung. Es wird nichts übertragen, die Auswertung läuft in Ihrem Browser.
1. Mit welchen Daten arbeitet die KI?
2. Wie anspruchsvoll ist die Aufgabe?
3. Hardware und jemand, der sie betreut?
Bitte alle drei Fragen beantworten
Die Einschätzung erscheint hier, sobald oben überall eine Antwort ausgewählt ist.
Der Weg, den die meisten übersehen
Die Debatte wird fast immer als Entweder-oder geführt: lokal oder Cloud, Kontrolle oder Qualität. Dabei gibt es einen dritten Weg, und der passt in der Praxis am häufigsten.
Ihre Dokumente und der Suchindex bleiben auf Ihrem Server. Stellt jemand eine Frage, sucht das System dort die drei bis fünf passenden Absätze heraus, und nur diese Auszüge gehen zusammen mit der Frage an ein Cloud-Modell. Ihr Handbuch, Ihre Preisliste, Ihre Konstruktionsunterlagen verlassen das Haus nie als Ganzes. Was rausgeht, sind ein paar Zeilen Kontext.
Damit bekommen Sie die Antwortqualität der großen Modelle, ohne Ihren Datenbestand aus der Hand zu geben. Wie das technisch funktioniert, haben wir in einem eigenen Artikel beschrieben: RAG im Mittelstand.
Bleibt die Frage, ob auch dieser Rest noch zu viel ist. In manchen Unternehmen lautet die Antwort ja, und dann führt kein Weg an einem lokalen Modell vorbei. Das ist eine legitime Entscheidung. Sie sollte nur bewusst fallen, mit dem Wissen, was sie kostet.
Häufige Fragen
Ist lokale KI schlechter als ChatGPT oder Claude?
Bei anspruchsvollen, mehrstufigen Aufgaben ja, und das zeigt unser Vergleich auch deutlich. Bei überschaubaren Aufgaben wie Suche, Zusammenfassung oder dem Herausziehen von Werten ist der Abstand inzwischen klein. Entscheidend ist nicht, welches Modell in einem Benchmark vorne liegt, sondern ob es Ihre konkrete Aufgabe zuverlässig löst.
Welche Hardware brauchen wir dafür?
Eine Grafikkarte mit ausreichend Speicher ist der entscheidende Posten, die genaue Größe hängt vom gewählten Modell ab. Ihr vorhandener Anwendungsserver reicht in der Regel nicht. Das ist keine große Investition im Vergleich zu anderen IT-Projekten, aber sie steht am Anfang und sollte vorher geklärt sein, nicht mittendrin.
Spart lokale KI wirklich Geld?
Es verschiebt die Kosten. Statt pro Anfrage zu zahlen, zahlen Sie einmal Hardware und laufend Strom und Betreuung. Ob sich das rechnet, hängt daran, wie intensiv die KI genutzt wird. Bei wenigen Anfragen im Monat lohnt sich der Aufwand nicht. Bei täglicher Nutzung durch viele Mitarbeiter kippt die Rechnung zugunsten der eigenen Hardware.
Was ist mit der DSGVO?
Ein lokales Modell macht die Frage nach Auftragsverarbeitung und Drittlandtransfer schlicht gegenstandslos, weil keine Daten das Haus verlassen. Das ist der sauberste Weg. Der hybride Aufbau, bei dem nur die gefundenen Auszüge an ein Cloud-Modell gehen, ist ebenfalls gangbar, verlangt aber eine saubere vertragliche und technische Ausgestaltung. Beides lässt sich machen, es ist eine Frage der Abwägung.
Womit sollten wir anfangen?
Mit einem einzigen, klar abgegrenzten Anwendungsfall und mit dreißig bis fünfzig Testfragen, deren richtige Antwort Sie vorher aufschreiben. Ohne diesen Testsatz diskutieren Sie am Ende über Bauchgefühl statt über Ergebnisse. Und Sie merken erst dann, ob das lokale Modell reicht, wenn Sie es an Ihren eigenen Fragen messen.
Worauf es hinausläuft
Lokale KI ist keine Notlösung mehr. Sie ist eine Option, die man ernsthaft prüfen sollte, sobald Daten im Spiel sind, die das Haus nicht verlassen dürfen. Wer dagegen nur Marketingtexte schreiben lassen will, baut sich mit eigener Hardware ein Problem, das er nicht hat.
Prüfen Sie zuerst, wie heikel Ihre Daten wirklich sind. Danach, wie anspruchsvoll die Aufgabe ist. Erst dann reden Sie über Modelle und Grafikkarten. In dieser Reihenfolge, nicht umgekehrt.
Wir schauen uns Ihren Fall an
In einem ersten Gespräch klären wir, ob Ihre Daten ein lokales Modell verlangen, ob ein hybrider Aufbau reicht oder ob die Cloud vollkommen genügt. Kostenfrei und unverbindlich.
Gespräch vereinbaren
