Lokale KI: Eigene Modelle auf dem eigenen Rechner nutzen

Lokale KI bedeutet, ein Sprachmodell direkt auf dem eigenen Rechner laufen zu lassen, statt es über die Cloud eines Anbieters zu nutzen. Deine Eingaben verlassen dabei nie das Gerät – kein Prompt geht an einen externen Server. Dank Werkzeugen wie Ollama und LM Studio ist das heute auch ohne tiefes technisches Wissen möglich: Ein kompaktes Modell mit rund acht Milliarden Parametern läuft flüssig auf einem modernen Laptop mit 16 Gigabyte Arbeitsspeicher. Was dabei realistisch geht und wo die Grenzen liegen, klärt dieser Artikel ehrlich.

Warum lokale KI?

Es gibt drei handfeste Gründe. Der erste ist Datenschutz: Wenn deine Daten den Rechner nie verlassen, entfällt die ganze Frage nach Übermittlung ins Ausland und Training beim Anbieter. Für Anwaltskanzleien, Arztpraxen oder Behörden ist das oft der einzige gangbare Weg. Der zweite ist Kosten: Ein lokales Modell hat keine laufenden Gebühren pro Anfrage – du zahlst einmal die Hardware und den Strom. Wer sehr viel verarbeitet, spart auf Dauer. Der dritte ist Unabhängigkeit: Das Modell läuft auch offline und funktioniert weiter, egal was ein Anbieter mit seinen Preisen oder Diensten macht. Diese digitale Souveränität ist auch der Grund, warum die Schweiz mit Apertus ein eigenes offenes Modell entwickelt hat.

Was du dafür brauchst: die Software

Ollama

Ollama ist das Standardwerkzeug für lokale Modelle und beschreibt sich selbst als «der einfachste Weg, mit offenen Modellen zu arbeiten». Nach der Installation lädst du ein Modell mit einem einzigen Befehl herunter und chattest über das Terminal oder eine der vielen Oberflächen, die darauf aufbauen. Ollama läuft auf macOS, Windows und Linux und ist kostenlos. Für alle, die sich ein wenig mit der Kommandozeile anfreunden, ist es die flexibelste Wahl.

LM Studio

LM Studio ist eine Desktop-App mit grafischer Oberfläche, die lokale Sprachmodelle auf dem eigenen Computer laufen lässt. Du durchsuchst einen Katalog verfügbarer Modelle, lädst sie mit einem Klick herunter und chattest in einem Fenster, das an bekannte Chat-Apps erinnert. Für Einsteiger ohne Terminal-Erfahrung ist LM Studio der bequemste Start.

Welche Modelle realistisch laufen

Lokale KI funktioniert nur mit Modellen, deren Gewichte offen verfügbar sind – sogenannten Open-Weights-Modellen, die du herunterladen und selbst betreiben darfst. Die wichtigsten Familien:

• Llama von Meta – weit verbreitet, gut dokumentiert, in mehreren Grössen erhältlich.
• Mistral aus Frankreich – kompakte, effiziente Modelle, die für ihre Grösse stark sind.
• Qwen von Alibaba – leistungsfähige offene Modelle mit guter Mehrsprachigkeit.
• Apertus aus der Schweiz – von EPFL, ETH Zürich und dem Supercomputing-Zentrum CSCS am 2. September 2025 veröffentlicht, vollständig offen, in einer 8-Milliarden- und einer 70-Milliarden-Variante, trainiert auf über 1000 Sprachen inklusive Schweizerdeutsch.

Für den Alltag auf einem Laptop sind die kleineren Varianten mit rund sieben bis neun Milliarden Parametern der richtige Ausgangspunkt. Sie beantworten Fragen, fassen Texte zusammen und helfen beim Schreiben – nicht auf dem Niveau der grössten Cloud-Modelle, aber für viele Aufgaben mehr als ausreichend.

Hardware – ehrlich betrachtet

Hier lohnt sich Klartext, weil viele Anleitungen zu optimistisch sind. Entscheidend ist der schnelle Speicher: bei einem Mac der Unified Memory, bei einem PC der Arbeitsspeicher und vor allem der Grafikspeicher (VRAM) der Grafikkarte. Als grobe Faustregeln für quantisierte Modelle, also platzsparend komprimierte Varianten:

• 7 bis 9 Milliarden Parameter: rund 6 bis 8 Gigabyte Speicher. Läuft auf einem MacBook mit 16 GB oder einer Grafikkarte mit 8 GB VRAM flüssig.
• Rund 30 Milliarden Parameter: rund 20 bis 24 Gigabyte. Braucht schon einen gut ausgestatteten Rechner oder einen Mac mit 32 GB und mehr.
• 70 Milliarden Parameter: rund 40 bis 48 Gigabyte. Realistisch nur auf einer Workstation mit starker Grafikkarte oder einem Mac mit 64 GB und mehr Unified Memory.

Wichtig ist auch die Geschwindigkeit: Auf normaler Hardware antwortet ein lokales Modell spürbar langsamer als ein Cloud-Dienst, der auf spezialisierten Grafikchips in Rechenzentren läuft. Für einen Chat ist das kein Problem, für die Verarbeitung tausender Dokumente schon.

Die Grenzen: lokal gegen Cloud-Frontier

Man muss es klar sagen: Ein lokales Modell auf dem Laptop reicht nicht an die grössten Cloud-Modelle heran. Die stärksten Systeme von Anthropic, OpenAI oder Google haben ein Vielfaches an Parametern, laufen auf Hardware, die keine Privatperson besitzt, und lösen komplexe Aufgaben zuverlässiger. Wer Spitzenleistung bei anspruchsvollem Programmieren oder mehrstufigem Denken braucht, kommt an der Cloud vorerst nicht vorbei. Lokale KI ist kein Ersatz für alles, sondern die richtige Wahl dort, wo Datenschutz, Offline-Fähigkeit oder Unabhängigkeit wichtiger sind als die letzten Prozent Leistung. Für viele Alltagsaufgaben – zusammenfassen, umformulieren, Fragen zu eigenen Dokumenten – ist dieser Kompromiss überraschend gut.

Für wen sich lokale KI lohnt

Am meisten profitieren zwei Gruppen. Die erste sind alle, die mit sensiblen Daten arbeiten und sie nicht aus der Hand geben dürfen oder wollen: Kanzleien, Praxen, Behörden, aber auch Privatpersonen, die ihre Notizen und Dokumente für sich behalten möchten. Die zweite sind technisch Neugierige, die verstehen wollen, wie diese Modelle funktionieren, und dabei gerne experimentieren. Für alle anderen gilt ein ehrlicher Rat: Fang mit einem kleinen Modell auf der Hardware an, die du ohnehin besitzt. Kostet nichts ausser etwas Zeit – und du merkst schnell, ob dir die lokale Variante für deinen Alltag reicht oder ob die Cloud die bessere Wahl bleibt.