GGUF

Format de fichier pour modèles quantifiés, très utilisé pour exécuter des LLM en local avec llama.cpp ou Ollama.

Un seul fichier .gguf regroupe poids et métadonnées, et le nom indique en général le niveau de quantification (Q4_K_M, par exemple). Plus de bits : plus de précision, mais aussi plus lourd et plus lent.

Ressources associées

Déploiement des LLM locaux avec Ollama

Un outil multiplateforme qui permet de télécharger et exécuter des LLM open source comme Llama, Mistral et Phi en local sur votre machine. Il fournit un CLI, un serveur API local et un endpoint compatible OpenAI pour expérimenter avec les modèles en toute confidentialité — sans GPU ni compte cloud. Idéal pour les développeurs qui ont besoin de capacités IA hors ligne ou veulent tester des prompts avant le déploiement.

LM Studio Local Model Client

LM Studio est une application de bureau permettant de télécharger et exécuter des LLMs open source en local en un clic. Elle offre une interface graphique soignée pour chatter avec les modèles, un serveur API local compatible OpenAI et le support des formats GGUF/GGML — sans ligne de commande ni expertise GPU.

llama.cpp est le moteur d'inférence léger en C/C++ qui exécute efficacement les LLM ouverts sur CPU et GPU grand public, servant de fondation à de nombreux outils locaux comme Ollama et LM Studio. Ses formats de quantification GGUF permettent aux grands modèles de tenir sur du matériel modeste, sans accélérateurs dédiés.