Ollama
| Ollama | |
|---|---|
 | |
| Basisdaten | |
| Aktuelle Version | 0.30.6[1] (5. Juni 2026) |
| Betriebssystem | macOS, Linux, Windows |
| Programmiersprache | Go[2] |
| Lizenz | MIT-Lizenz |
| ollama.com | |
Ollama ist eine Open-Source-Software zur lokalen Ausführung von Large Language Models (LLMs) auf Desktop-Computern. Die Plattform ermöglicht die lokale Nutzung frei verfügbarer KI-Modelle und unterstützt die Integration mit weiteren lokalen Werkzeugen, die über eine Kommandozeilenschnittstelle oder eine Programmierschnittstelle (API) angebunden werden können. Ollama ist für macOS, Linux und Windows verfügbar.[3]
Ollama wurde entwickelt, um KI-Modelle lokal und ohne Cloud-Infrastruktur nutzen und verwalten zu können.[4] Anfangs wurde die Llama-Modellfamilie unterstützt, die durch Meta entwickelt und als Open Source zur Verfügung gestellt wurde.[5] Für Ollama stehen Stand Juni 2025 über 240 verschiedene vortrainierte KI-Modelle zur Einbindung zur Verfügung. Die Modelle werden direkt auf dem lokalen Rechner ausgeführt, wodurch eingegebene Daten und der KI-Output vollständig auf dem eigenen System verbleiben und etwaige Beschränkungen der Cloud-Versionen nicht greifen.[6][7]
Funktionen
[Bearbeiten | Quelltext bearbeiten]Die Plattform ermöglicht das Herunterladen und Verwalten verschiedener Sprachmodelle über eine Paketstruktur, die lokal wahlweise über die Kommandozeile oder ein optionales Web-Interface angesteuert werden kann. Externe Anwendungen können über eine REST-API angebunden werden, für gängige Programmiersprachen stehen Client-Bibliotheken zur Verfügung.
Ollama kann rein auf der CPU des Hostsystems betrieben werden, aber auch vorhandene Nvidia oder AMD-GPUs einbinden, sofern diese mit mindestens 2 GB Speicher ausgestattet sind und die CUDA-[6] oder AMD-ROCm-Laufzeitumgebung[8] installiert wurde. Auf älteren Grafikkarten kann seit Ende 2025 die Vulkan-Architektur für Ollama genutzt werden.[9] Eingebundene KI-Modelle können in Ollama modifiziert werden.[5]
Seit Juli 2025 kann Ollama auf Windows und MacOS über eine grafische Benutzeroberfläche bedient werden.[10] Für MacOS steht darüber hinaus eine experimentelle Funktion zur KI-Bildgenerierung zur Verfügung.[11] Auf der Linux-Version wie auch den anderen Plattformen kann darüber hinaus Open Web UI als grafische Oberfläche über den Webbrowser genutzt werden.[12] Open Web UI hieß ursprünglich Ollama Web UI und stammt von dem Team, das bereits die Ollama-CLI entwickelte. Es kann auch als grafische Schnittstelle für weitere KI-Plattformen genutzt werden.
Das Ollama-Paketformat zur Einbindung der KI-Module wird inzwischen durch weitere Plattformen unterstützt, beispielsweise von Msty oder AnythingLLM.[5]
Unterstützte Modelle
[Bearbeiten | Quelltext bearbeiten]Ollama unterstützt eine Vielzahl frei verfügbarer Sprachmodelle, darunter:
- Llama 2 von Meta
- Mistral von Mistral AI
- Qwen3.5 von Alibaba Cloud
- Gemma von Google
Die Verfügbarkeit einzelner Modelle hängt von deren Lizenzbedingungen sowie der Hardware des Nutzers ab.
Technische Grundlagen
[Bearbeiten | Quelltext bearbeiten]Ollama basiert auf einer Laufzeitumgebung zur effizienten Ausführung quantisierter Transformer-Modelle auf Consumer-Hardware. Durch Modellquantisierung (z. B. 4-Bit- oder 8-Bit-Varianten) können große Modelle auch auf Computern mit begrenztem Arbeitsspeicher betrieben werden. Die Software bietet zudem Mechanismen zur Erstellung eigener Modellkonfigurationen („Modelfiles“), mit denen sich Systemprompts oder Modellparameter dauerhaft definieren lassen.
Einsatzgebiete
[Bearbeiten | Quelltext bearbeiten]Ollama kann zum lokalen Hosten beispielsweise von Chatbots eingesetzt werden. Mit den geeigneten Modellen kann die Plattform auch zur Codegenerierung dienen, wobei anders als bei externen Cloud-Modellen wie Claude oder Codex keine Kosten für Tokens anfallen.[13] Nvidia empfiehlt Ollama als flexible Plattform zur Implementierung lokaler KI-Agenten wie OpenClaw.[14]
Sicherheit
[Bearbeiten | Quelltext bearbeiten]Im November 2025 wurde eine Sicherheitslücke bekannt, über die Ollama bei der Nutzung modifizierter Modelle zur Ausführung beliebigen Codes auf dem Hostsystem gebracht werden konnte. Mit Version 0.7.0 wurde die Lücke behoben.[15]
Im Januar 2026 wurden in einer Sicherheitsanalyse über 175.000 ungesichert betriebene Ollama-Instanzen im Netz gefunden, die von Angreifern missbraucht werden konnten.[16] Das wachsende Netz an „Schatten-KI-Infrastruktur“ wird als Problem betrachtet, da die betroffenen Systeme ohne Autorisierung oder Limitierungen durch beliebige Nutzer verwendet werden können und häufig Zugriff auf externe Dienste und Ressourcen anbieten. Ollama werde standardmäßig für den lokalen Host freigegeben, lasse sich aber sehr einfach komplett exponieren. Da die Hosts häufig mit ähnlichen Modellen und Ressourcen ausgestattet seien, könnten sie leicht automatisiert missbraucht werden, was das exponierte Ollama-Ökosystem zu einer neuen Art von Risiko mache.[17]
Weblinks
[Bearbeiten | Quelltext bearbeiten]Einzelnachweise
[Bearbeiten | Quelltext bearbeiten]- ↑ Release 0.30.6. 5. Juni 2026 (abgerufen am 6. Juni 2026).
- ↑ github.com. 6. Juli 2025.
- ↑ Quickstart. In: ollama.com. Abgerufen am 1. März 2026 (englisch).
- ↑ Christian Ullenboom: Spring AI 1.0: Ollama mit Llama von Meta AI einsetzen und mit Spring AI Prompts erstellen. In: informatik-aktuell.de. 16. September 2025, abgerufen am 1. März 2026.
- 1 2 3 Ulrich Wolf: Sprachmodelle lokal betreiben: Fünf Tools vorgestellt. In: heise online. 21. März 2025, abgerufen am 1. März 2026.
- 1 2 David Wolski: KI lokal auf dem PC nutzen: So geht’s mit Ollama ganz einfach. In: PC-WELT. 9. Juni 2025, abgerufen am 1. März 2026.
- ↑ Jan-Keno Janssen: DeepSeek unzensiert (und lokal). In: heise online. 14. Februar 2025, abgerufen am 1. März 2026.
- ↑ Andreas Bunen: AI-Chatbot hosten auf eigenem Server auf Ubuntu/Debian mit Ollama und Open WebUI. In: PC-Masters. 24. September 2025, abgerufen am 22. März 2026.
- ↑ Ollama 0.12.6 erhält Vulkan-Unterstützung. In: LinuxNews. 16. Oktober 2025, abgerufen am 22. März 2026.
- ↑ Kim Rixecker: Ollama statt ChatGPT: So führt ihr KI lokal auf eurem Rechner aus | t3n. In: t3n Magazin. 6. August 2025, abgerufen am 1. März 2026.
- ↑ Jonathan Kemper: Ollama generiert jetzt KI-Bilder lokal auf dem Mac. In: The Decoder. 21. Januar 2026, abgerufen am 1. März 2026.
- ↑ Thomas Joos: Einen KI-Server mit Ollama und Open WebUI einrichten | Computer Weekly. In: ComputerWeekly. 5. September 2024, abgerufen am 1. März 2026.
- ↑ David Gewirtz: Want local vibe coding? This AI stack might replace Claude Code and Codex - for free. In: ZDnet. 4. Februar 2026, abgerufen am 2. März 2026 (englisch).
- ↑ Abhishek Gore: Run OpenClaw For Free On NVIDIA RTX GPUs & DGX Spark. In: Nvidia.com. 13. Februar 2026, abgerufen am 2. März 2026 (en-ph).
- ↑ AnuPriya: Ollama Vulnerabilities Let Attackers Execute Arbitrary Code via Malicious Model Files. In: Cyber Security News. 20. November 2025, abgerufen am 2. März 2026 (amerikanisches Englisch).
- ↑ Ionut Arghire: 175,000 Exposed Ollama Hosts Could Enable LLM Abuse. In: SecurityWeek. 30. Januar 2026, abgerufen am 2. März 2026 (amerikanisches Englisch).
- ↑ Gabriel Bernadett-Shapiro, Silas Cutler: Silent Brothers | Ollama Hosts Form Anonymous AI Network Beyond Platform Guardrails. In: SentinelOne. 29. Januar 2026, abgerufen am 2. März 2026 (englisch).