Quantisierung

Die numerische Präzision der Gewichte reduzieren (z. B. auf 4 Bit), um Modelle zu verkleinern und auf schwächerer Hardware zu betreiben.

Ein auf 4 Bit quantisiertes Modell braucht etwa ein Viertel des 16-Bit-Originals – so läuft ein 7B–8B-Modell auf dem Laptop, mit meist verschmerzbarem Qualitätsverlust.

Verwandte Ressourcen

Bereitstellung lokaler LLMs mit Ollama

Ein plattformübergreifendes Tool, mit dem Open-Source-LLMs wie Llama, Mistral und Phi lokal auf dem eigenen Rechner laufen. Bietet CLI, lokalen API-Server und OpenAI-kompatiblen Endpoint – ganz ohne GPU oder Cloud-Account. Ideal für Entwickler, die Offline-KI-Fähigkeiten brauchen oder Prompts vor dem Produktions-Deployment testen wollen.

LM Studio Local Model Client

LM Studio ist eine Desktop-App, mit der du Open-Source-LLMs mit einem Klick lokal herunterladen und ausführen kannst. Sie bietet eine polierte GUI zum Chatten mit Modellen, einen OpenAI-kompatiblen lokalen API-Server und Unterstützung für GGUF/GGML-Formate – ganz ohne Kommandozeile oder GPU-Expertise.

llama.cpp ist die leichte C/C++-Inferenz-Engine, die offene LLMs effizient auf CPUs und Consumer-GPUs ausführt – das Fundament vieler lokaler KI-Tools wie Ollama und LM Studio. Die GGUF-Quantisierungsformate lassen große Modelle auf bescheidener Hardware ohne dedizierte Beschleuniger laufen.