Pourquoi gérer des LLM localement ?
- Confidentialité : Vos données ne quittent jamais votre machine.
- Coût : Zéro coût par token après configuration.
- Vitesse : Pas de latence réseau pour l’inférence.
- Hors ligne : Fonctionne sans connexion internet.
Installation d’Ollama
- Téléchargement depuis ollama.com — disponible pour macOS, Linux et Windows.
- Exécutez 'ollama pull gemma3' pour télécharger un modèle.
- Exécutez 'ollama run gemma3' pour commencer à discuter.
Modèles populaires
- Qwen3 8B : choix équilibré par défaut, 5,2 Go à télécharger, contexte de 40K.
- Gemma 3 12B : le modèle multimodal de Google, 8,2 Go, contexte de 128K.
- DeepSeek-R1 8B : distillat axé sur le raisonnement, 5,2 Go, contexte de 128K.
- Qwen3-Coder 30B : modèle de code à mélange d’experts, 19 Go, demande un GPU de 24 Go.
- Phi-4 14B : le modèle de raisonnement compact de Microsoft, 9,1 Go, contexte de 16K.
Les tailles et fenêtres de contexte sont celles publiées par Ollama pour chaque étiquette (vérifié le 2026-11-10).
Utilisation de l’API
Ollama fournit une API REST locale à l’adresse « http://localhost:11434 ».
- « POST /api/generate » — génération de texte.
- « POST /api/chat » — complétions de chat.
- Compatible avec OpenAI SDK via une URL de base.
Les deux endpoints exigent un champ « model » nommant une étiquette déjà téléchargée (« ollama list » les affiche) ; la référence de l’API le déclare obligatoire. Le corps minimal d’une requête de chat est `{"model": "gemma3", "messages": [{"role": "user", "content": "hello"}]}` ; envoyez-le à « /api/chat » et Ollama renvoie des objets JSON en streaming.
Ajoutez "stream": false pour obtenir un objet unique avec la réponse complète et les statistiques de temps.
Conseils d’intégration
- Utilisation avec LangChain via la classe 'OllamaLLM'.
- Utilisation avec Open WebUI pour une interface de type ChatGPT.
- Accélération GPU : Fonctionne avec NVIDIA (CUDA) et Apple Silicon (Metal).
Attentes de performance
- Modèle 7B sur MacBook M2 : ~30 tokens/seconde.
- Modèle 7B sur RTX 4090 : ~60 tokens/seconde.
- Modèle 70B sur 48 Go de RAM (CPU) : ~3 tokens/seconde. Le téléchargement de 43 Go ne laisse guère de marge pour un contexte long.
Choisir le bon modèle local
Votre choix dépend du matériel et du cas d’usage. Pour coder sur un portable, Qwen2.5-Coder 7B (4,7 Go) ou Llama 3.1 8B (4,9 Go) en quantification 4 bits fonctionnent très bien. Pour la conversation générale, Qwen3 8B (5,2 Go) ou Gemma 3 12B (8,2 Go) offrent un bon équilibre. Un GPU de 24 Go accueille Qwen3-30B-A3B et ses 19 Go ; Llama 3.1 70B représente 43 Go à télécharger, il lui faut donc 48 Go de mémoire ou plus, et non 24 Go.
Réglage des performances
- Quantification : Q4_K_M offre le meilleur rapport qualité-taille. Q5_K_M est légèrement meilleur mais 20 % plus volumineux. Évitez Q2/Q3 sauf nécessité absolue : la qualité chute brutalement.
- Longueur de contexte : la valeur par défaut est généralement de 2048 ou 4096 tokens. Augmentez-la seulement si nécessaire : les contextes plus longs consomment plus de RAM.
- Déport GPU : utilisez --n-gpu-layers pour déporter autant de couches que la VRAM le permet. Plus de couches sur le GPU signifie plus de vitesse.
- Taille de lot : augmentez --batch-size pour traiter le prompt plus vite si la VRAM le permet.
Pièges courants
L’erreur numéro un est de lancer des modèles trop gros pour votre matériel. Un modèle 70B sur 16 Go de RAM sera douloureusement lent (1-2 tokens par seconde). Mieux vaut faire tourner un modèle 7B à 30 tokens par seconde ou plus. L’erreur numéro deux est d’ignorer le prompt système : les modèles locaux y sont très sensibles. Un prompt système bien conçu peut transformer un modèle médiocre en assistant utile.
Mesurez les tokens par seconde avant de choisir un modèle
Le nombre de paramètres publié ne vous dit presque rien sur l’utilisabilité d’un modèle sur votre machine. Ce qui compte est la vitesse de génération en tokens par seconde sur votre matériel, et ce chiffre dépend de la bande passante mémoire bien plus que de la puissance de calcul brute. Un modèle qui tient en mémoire mais génère à peine plus vite que vous ne lisez est frustrant ; un modèle à trente tokens par seconde se vit comme une conversation. Chronométrez-le vous-même avec un prompt fixe et une longueur de sortie connue avant de choisir une taille.
Si un modèle ne tient pas en mémoire, il ne tourne pas plus lentement : il tourne sur le CPU, ce qui est typiquement un ordre de grandeur pire. La question de l’ajustement est donc binaire et vient en premier : vérifiez le besoin mémoire à la quantification choisie contre la mémoire disponible, et gardez de la marge pour le système et le contexte.
La quantification est le levier principal
Passer de poids seize bits à huit ou quatre bits divise environ par deux et par quatre l’empreinte mémoire, et pour beaucoup de tâches la différence de qualité est assez faible pour être invisible dans votre propre évaluation. Ce n’est pas gratuit : les tâches à forte composante de raisonnement et la récupération à long contexte se dégradent plus que la conversation fluide. Testez à la quantification que vous comptez livrer plutôt que de supposer que la variante en tête de fichier est ce que verront vos utilisateurs.
Où les modèles locaux gagnent vraiment
Confidentialité, fonctionnement hors ligne, coût prévisible et absence de limites de débit. Un modèle local qui exécute une tâche de classification à cinq tokens par seconde et ne quitte jamais votre portable vaut mieux qu’un modèle hébergé pour un travail que vous ne pouvez envoyer nulle part. Soyez honnête sur l’inverse aussi : pour le raisonnement ouvert et la génération de code, la frontière hébergée reste nettement devant, et prétendre le contraire coûte de la qualité à vos utilisateurs.