llama.cpp
llama.cpp ist die leichte C/C++-Inferenz-Engine, die offene LLMs effizient auf CPUs und Consumer-GPUs ausführt – das Fundament vieler lokaler KI-Tools wie Ollama und LM Studio. Die GGUF-Quantisierungsformate lassen große Modelle auf bescheidener Hardware ohne dedizierte Beschleuniger laufen.
Überblick
„llama.cpp“ ist eine Ressource vom Typ „Open Source“, kuratiert von AI Resource Hub, eingeordnet in die Kategorie Tools und geeignet für Lernende der Stufe Experte. Sie wird von ggml community bereitgestellt, wurde zuletzt am 2026-07-24 aktualisiert und hat eine redaktionelle Wertung von 4.8/5 von unserem Team. Klicke rechts auf „Ressource besuchen“, um die Originalseite zu öffnen.
Unser Fazit
llama.cpp ist die kostenlose Open-Source-Engine, die lokale LLMs praktikabel machte: eine leichte C/C++-Codebasis, die offene Modelle auf normalen CPUs, Apple Silicon und Consumer-GPUs ausführt — ganz ohne Python. GGUF-Quantisierung und der OpenAI-kompatible Servermodus sind das Fundament, auf dem Tools wie Ollama und LM Studio aufbauen. Die Abstriche sind real: Kommandozeile zuerst – die Oberfläche bauen Sie selbst, und quantisierte Modelle tauschen etwas Qualität gegen Größe. Für Entwickler, die maximale Kontrolle bei minimalem Fußabdruck wollen, ist das die Referenzimplementierung — fangen Sie hier an, bevor Sie zu Wrappern greifen.
Tags
Hauptfunktionen
- ▹Effiziente CPU-/GPU-Inferenz für GGUF-Modelle
- ▹Quantisierung für bescheidene Hardware
- ▹Servermodus mit OpenAI-kompatibler API
Ideal für
- ▹Offene LLMs auf CPU und Consumer-GPU ausführen
- ▹Das Fundament unter Ollama, LM Studio und Co.
- ▹Quantisierte GGUF-Modelle auf bescheidener Hardware
Weniger geeignet für
- ▪Teams, die eine fertige Chat-UI wollen
- ▪Cloud-Serving mit hoher Concurrency
Vorteile
- +Läuft fast überall – ganz ohne Python
- +Die Referenz-Engine, auf der viele Tools aufbauen
- +Die Referenz-Engine, auf der viele lokale Tools aufbauen
Nachteile
- −Kommandozeile zuerst – GUIs gibt es anderswo
- −Command-Line first – die UI baust du selbst
- −Quantisierte Modelle tauschen etwas Qualität gegen Größe
FAQ
Details
- Preise
- Kostenlos und Open Source
- Autor
- ggml community
- Redaktionswertung
- ★ 4.8 / 5
- Zuletzt aktualisiert
- 24. Juli 2026