Open SourceExperte
llama.cpp
The lightweight C/C++ inference engine that runs open LLMs efficiently on CPUs and GPUs — the foundation beneath many local AI tools.
Überblick
„llama.cpp“ ist eine Ressource vom Typ „Open Source“, kuratiert von AI Resource Hub, eingeordnet in die Kategorie Open-Source Tools und geeignet für Lernende der Stufe Experte. Sie wird von ggml community bereitgestellt, wurde zuletzt am 2026-07-24 aktualisiert und hat eine redaktionelle Wertung von 4.8/5 von unserem Team. Klicke rechts auf „Ressource besuchen“, um die Originalseite zu öffnen.
Tags
Local LLMInferenceGGUF
Hauptfunktionen
- ▹Efficient CPU/GPU inference for GGUF models
- ▹Quantization to fit models on modest hardware
- ▹Server mode with an OpenAI-compatible API
Vorteile
- +Runs almost anywhere, no Python required
- +The reference engine many tools build on
Nachteile
- −Command-line first; GUIs live elsewhere
FAQ
llama.cpp or Ollama?
Ollama wraps llama.cpp with easy model management; use llama.cpp directly for maximum control and minimal footprint.
Ressource besuchen →GitHub
Details
- Preise
- Free and open source
- Autor
- ggml community
- Redaktionswertung
- ★ 4.8 / 5
- Zuletzt aktualisiert
- 24. Juli 2026