GGUF

Ein Dateiformat für quantisierte Modelle, weit verbreitet zum lokalen Ausführen von LLMs mit llama.cpp und Ollama.

Eine einzige .gguf-Datei bündelt Gewichte und Metadaten; der Dateiname verrät meist die Quantisierungsstufe (z. B. Q4_K_M). Mehr Bits bedeuten mehr Genauigkeit – aber auch mehr Größe und weniger Tempo.

Verwandte Ressourcen

Bereitstellung lokaler LLMs mit Ollama

Ein plattformübergreifendes Tool, mit dem Open-Source-LLMs wie Llama, Mistral und Phi lokal auf dem eigenen Rechner laufen. Bietet CLI, lokalen API-Server und OpenAI-kompatiblen Endpoint – ganz ohne GPU oder Cloud-Account. Ideal für Entwickler, die Offline-KI-Fähigkeiten brauchen oder Prompts vor dem Produktions-Deployment testen wollen.

LM Studio Local Model Client

LM Studio ist eine Desktop-App, mit der du Open-Source-LLMs mit einem Klick lokal herunterladen und ausführen kannst. Sie bietet eine polierte GUI zum Chatten mit Modellen, einen OpenAI-kompatiblen lokalen API-Server und Unterstützung für GGUF/GGML-Formate – ganz ohne Kommandozeile oder GPU-Expertise.

llama.cpp ist die leichte C/C++-Inferenz-Engine, die offene LLMs effizient auf CPUs und Consumer-GPUs ausführt – das Fundament vieler lokaler KI-Tools wie Ollama und LM Studio. Die GGUF-Quantisierungsformate lassen große Modelle auf bescheidener Hardware ohne dedizierte Beschleuniger laufen.