Linux · System Tools
Ollama
Ollama ist ein schlanker lokaler LLM-Manager für Linux, der es Benutzern ermöglicht, große Sprachmodelle auszuführen und zwischen ihnen zu wechseln, ohne von Cloud-Diensten abhängig zu sein.
- Lizenz
- Apache-2.0
- Aktuelle Version
- 0.40.7
Was ist Ollama?
Ollama wurde Ende 2023 vom Team hinter dem beliebten Llama-Modell veröffentlicht. Es wird als einfaches Kommandozeilen-Tool ausgeliefert, das Modell-Binärdateien herunterlädt, sie lokal speichert und eine REST-API für die Inferenz bereitstellt. Das Projekt erhält regelmäßige Updates; die neueste Version fügt die Unterstützung für GPU-Beschleunigung auf NVIDIA- und AMD-Hardware hinzu.
Die Zielgruppe umfasst Entwickler, Forscher und Power-User, die LLMs auf ihren eigenen Maschinen testen möchten. Besonders nützlich ist es für diejenigen, die aus Datenschutz- oder Bandbreitengründen nicht auf Cloud-Dienste angewiesen sein wollen.
Im Vergleich zu Windows-zentrierten KI-Assistenten wie Microsoft Copilot wirkt Ollama praxisnäher. Sie haben die volle Kontrolle über den gesamten Stack, von der Modellwahl bis zur Inferenzgeschwindigkeit, und können es in Skripte oder IDEs integrieren, ohne auf den Update-Zyklus eines Anbieters warten zu müssen.
Ideal für: Benutzer, die volle Kontrolle über LLMs benötigen und lokale Inferenz Cloud-Dienzen vorziehen.
Wichtige Funktionen von Ollama
- Lokale Modell-Hosting über Docker oder native Binärdateien
- Unterstützung für Llama, Mistral und andere Open-Source-Modelle
- GPU-Beschleunigung mit CUDA, ROCm oder CPU-Fallback
- REST-API für eine einfache Integration
- CLI für Modell-Download, Auflistung und Entfernung
- Integrierte Modell-Quantisierung zur Speicherersparnis
- Plattformübergreifende Paketierung (Arch, openSUSE, Fedora)
Vorteile
- Keine Cloud-Abhängigkeit, erhält die Privatsphäre
- Schnelle Inferenz auf lokalen GPUs
- Open-Source und kostenlos nutzbar
- Einfaches Hinzufügen neuer Modelle
- Aktive Community-Unterstützung
Nachteile
- Benötigt erheblichen lokalen Speicher für Modelle
- Begrenzte vorgefertigte UI; hauptsächlich CLI
- Keine integrierte Chat-Oberfläche
- Lernkurve für die API-Nutzung
Windows-Programme, die Ollama ersetzt
Ollama unter Linux installieren
sudo dnf install ollamasudo pacman -S ollama-rocmsudo zypper install ollamaTipps für Windows-Umsteiger
Wenn Sie von Microsoft Copilot kommen, beachten Sie, dass Ollama standardmäßig keinen grafischen Assistenten bereitstellt. Sie interagieren über die Kommandozeile oder indem Sie seine REST-API aus Skripten aufrufen. Modelldateien werden in ~/.ollama/models gespeichert, und Sie können Modelle mit ollama list und ollama use <name> wechseln. Tastenkürzel sind irrelevant; konzentrieren Sie sich stattdessen auf API-Endpunkte und CLI-Flags. Workflow-Änderungen: Anstelle eines einzelnen integrierten Assistenten starten Sie einen lokalen Server und senden Prompts programmatisch.
Ollama: häufige Fragen
Kann ich Ollama auf einem Windows-Computer verwenden?
Ollama ist für Windows verfügbar, aber dieser Leitfaden konzentriert sich auf Linux-Installationen über Arch-, openSUSE- oder Fedora-Pakete.
Benötigt Ollama eine GPU?
Nein, es kann auf der CPU ausgeführt werden, aber die Leistung ist mit einer NVIDIA- oder AMD-GPU und den entsprechenden Treibern deutlich besser.
Wie füge ich ein neues Modell hinzu?
Verwenden Sie ollama add <model_name>; das Tool lädt das Modell aus dem offiziellen Repository herunter und speichert es lokal.
Gibt es eine grafische Oberfläche?
Noch nicht. Sie können eine selbst erstellen, indem Sie die REST-API nutzen, oder Drittanbieter-GUIs verwenden, die mit Ollama integriert sind.
Aktualisiert am