Einleitung

Letzten Dienstagabend habe ich meinen Laptop so eingestellt, dass er plötzlich selbst Fragen beantworten konnte — ohne Internet, ohne Cloud-API, ohne dass ein Byte meiner Daten irgendwoanders landete. Mein Experiment mit lokaler KI begann eigentlich als Spielerei, aber nach zwei Nächten merkte ich: Das verändert, wie ich über künstliche Intelligenz denke.

Kontext

In letzter Zeit reden alle über KI, aber fast alle großen Tools laufen in irgendeiner Cloud. ChatGPT, Claude, Gemini — alle schicken deine Eingaben irgendwohin. Als jemand, der sich in seinem Open-Source-Projekt in Leipzig täglich mit Datenschutz auseinandersetzt, wollte ich wissen: Geht es auch ohne? Und was habe ich davon, wenn mein Modell nie meinen Laptop verlässt?

Mein Ziel war simpel: Einen kleinen, englischsprachigen Chatbot zum Laufen bringen, der auf normaler Hardware läuft. Keine teure Grafikkarte, keine Cloud-Stunde, einfach nur mein alter Laptop aus dem ersten Semester. Ich wollte verstehen, was unter der Haube passiert — und ob „privat” wirklich nur ein Marketingversprechen ist.

Implementierung

Ich habe zwei Ansätze ausprobiert: Zuerst llama.cpp, weil es leichtgewichtig ist und ohne große Python-Umgebung läuft. Dann Ollama, das die gleichen Modelle noch einfacher zugänglich macht und mit einem einzigen Befehl installiert ist. Was sofort klappte: Mit Ollama lud ich ein kleines 7B-Parameter-Modell herunter und begann innerhalb von Minuten zu chatten. Der erste Testdialog lief in Echtzeit, die Antworten waren überraschend verständlich.

Was nicht klappte, war die Performance. Mein Laptop hat keine Diskret-GPU, also rechnete die CPU. Die Antworten kamen mit etwa zehn Wörtern pro Sekunde — gefühlt wie eine Offline-Übersetzung per Google Translate im Jahr 2005. Dazu summierte sich der Lüfter, als wolle er gleich abheben. Für längere Texte wurde es schnell unübersichtlich.

Was ich lernte: Lokale KI ist kein Allheilmittel für alle Anwendungsfälle. Aber sie funktioniert erstaunlich gut für kleine, wiederkehrende Aufgaben — Code-Korrekturen, kurze Zusammenfassungen, Übersetzungen. Der Clou: Nichts davon verlässt meinen Rechner. Keine Tracking-IDs, keine Trainingsdatensammlung, kein Abo.

Ergebnis

Mein Experiment hat mir gezeigt: Lokale KI ist heute kein Hexenwerk mehr. Für technikaffine Menschen ist sie ein legitimer Weg, die Kontrolle über die eigenen Daten zurückzugewinnen — genau wie beim Selfhosting von Blogs oder Cloud-Diensten. Was fehlt, ist die naive Einfachheit der großen Anbieter: Ein Klick, und es funktioniert. Aber vielleicht ist genau diese Hürde wichtig, weil sie zwingt, sich mit dem Werkzeug auseinanderzusetzen.

Ich nehme mir für die Zukunft vor, öfter auf lokale Modelle zurückzugreifen. Nicht überall, aber dort, wo es um sensible Daten geht oder wo ich einfach keine Lust habe, wieder etwas in einer Cloud zu speichern.

Fazit

Lokale KI ist kein Ersatz für die großen Sprachmodelle — aber sie ist ein Stück Freiheit, das man sich heute leisten kann. Probier es aus: Lade dir Ollama herunter, nimm ein kleines Modell, und schau, wie es sich anfühlt, wenn dein Chatbot nie deinen Rechner verlässt. Du wirst überrascht sein — und vielleicht auch ein bisschen erleichtert.