Linux · System Tools
Llama.cpp
Llama.cpp ist eine leichte, quelloffene Inferenz-Engine, die große Sprachmodelle lokal auf Linux ausführt.
- Lizenz
- MIT
- Aktuelle Version
- 1.0.0
Was ist Llama.cpp?
Llama.cpp wurde von der LLaMA-Community entwickelt, um eine schnelle und ressourcenschonende Inferenzlösung für die LLaMA-Modellfamilie bereitzustellen. Es ist in C++ geschrieben und nutzt Quantisierungstechniken, um den Speicherverbrauch niedrig zu halten, was es für Laptops und schlichte Server geeignet macht. Das Projekt wird seit 2023 aktiv gepflegt und ist zu einer beliebten Wahl für Entwickler geworden, die LLMs ohne Cloud-Abhängigkeiten ausführen möchten.
Das Tool richtet sich an Programmierer, Forscher und Power-User, die Sprachmodelle auf ihrer eigenen Hardware experimentell einsetzen oder deployen müssen. Es bietet eine einfache Kommandozeilenschnittstelle, die nach dem Vorhandensein eines Modell-Checkpoints leicht zu bedienen ist, und kann in Skripte oder andere Anwendungen integriert werden.
Im Vergleich zu Windows-basierten KI-Assistenten wie Microsoft Copilot wirkt Llama.cpp eher praxisnah und erfordert, dass Sie die Modelldateien selbst verwalten. Es gibt keine grafische Benutzeroberfläche von Haus aus, aber der Mangel an Abstraktion kann ein Vorteil sein, wenn Sie die volle Kontrolle über den Inferenzprozess wünschen.
Ideal für: Nutzer, die LLaMA-Modelle lokal mit minimalem Ressourcenverbrauch ausführen möchten und sich mit Kommandozeilentools wohlfühlen.
Wichtige Funktionen von Llama.cpp
- Kommandozeilenschnittstelle für schnelle Inferenz
- Unterstützt 4-Bit- und 8-Bit-Quantisierung
- Läuft auf CPU und optional mit CUDA für GPU-Beschleunigung
- Plattformübergreifende Builds (Linux, Windows, macOS)
- Quelloffener C++-Code
- Flexibilität bei Modell-Checkpoints (jedes LLaMA-kompatible Modell)
- Keine externen Abhängigkeiten außer Standardbibliotheken
- Skriptbar über Python-Bindings
Vorteile
- Läuft lokal, kein Internet erforderlich
- Sehr geringer Speicherbedarf durch Quantisierung
- Schnelle Inferenz auf modernen CPUs
- Kostenlos und quelloffen
- Aktive Community-Unterstützung
Nachteile
- Keine GUI, erfordert die Nutzung der Kommandozeile
- Modell-Download und Einrichtung können umständlich sein
- Auf LLaMA-kompatible Modelle beschränkt
- Kein integriertes Prompt-Management oder Verlauf
Windows-Programme, die Llama.cpp ersetzt
Llama.cpp unter Linux installieren
sudo dnf install llama-cppsudo pacman -S llama-cppsudo zypper install llamacppTipps für Windows-Umsteiger
Wenn Sie von Microsoft Copilot kommen, beachten Sie, dass Llama.cpp keine fertige Schnittstelle oder Integration in IDEs bietet. Sie müssen einen Modell-Checkpoint (z. B. LLaMA-7B) herunterladen und in einem Ordner ablegen. Führen Sie die Binärdatei mit dem --model-Parameter aus und übergeben Sie Ihren Prompt über stdin oder eine Datei. Shortcuts und Workflow unterscheiden sich: Sie tippen Befehle statt eine UI zu bedienen und verwalten die Modelldateien selbst. Es gibt keinen integrierten Verlauf, daher sollten Sie die Ausgabe in eine Protokolldatei leiten, wenn Sie frühere Interaktionen überprüfen müssen.
Llama.cpp: häufige Fragen
Kann ich Llama.cpp auf meinem Laptop ausführen?
Ja, wenn Ihre CPU mindestens 8 GB RAM hat und Sie 4-Bit-Quantisierung verwenden, kann es auf vielen Laptops komfortabel ausgeführt werden. GPU-Beschleunigung ist optional, beschleunigt die Inferenz aber.
Ist eine GPU erforderlich?
Nein, Llama.cpp funktioniert nur mit der CPU. CUDA-Unterstützung ist für Nutzer mit NVIDIA-GPUs verfügbar, aber nicht zwingend erforderlich.
Wie erhalte ich einen Modell-Checkpoint?
Laden Sie einen LLaMA-kompatiblen Checkpoint von der offiziellen Quelle herunter oder verwenden Sie ein von der Community veröffentlichtes quantisiertes Modell. Legen Sie die .bin-Datei in ein Verzeichnis und weisen Sie Llama.cpp diese über den --model-Parameter zu.
Unter welcher Lizenz steht Llama.cpp?
Das Projekt wird unter der MIT-Lizenz veröffentlicht, die freie Nutzung, Modifikation und Verbreitung erlaubt.
Aktualisiert am