Le problème du coût
Les coûts des API LLM peuvent rapidement exploser. Une application modeste desservant 10 000 utilisateurs peut coûter entre 500 et 2000 $ par mois. Voici comment faire baisser ça.
1. Mettre en cache de manière agressive
- Mettre en cache des requêtes identiques ou similaires avec mise en cache sémantique.
- Utiliser Redis ou LRU en mémoire pour les chemins critiques (hot paths).
- Taux de cache : 30-60 % pour la plupart des applications.
2. Utilisez des modèles plus petits pour des tâches simples
- Acheminer les requêtes faciles vers GPT-6 Luna ou Claude Haiku 5.5.
- Réserver GPT-6 Astra ou Claude Sonnet 5.5 pour des raisonnements complexes.
- Utiliser un classificateur pour déterminer le routage.
3. Optimiser les prompts
- Des prompts système plus courts = moins de tokens d’entrée.
- Supprimer les instructions redondantes.
- Utiliser une sortie structurée pour éviter les réponses verbeuses.
4. Demandes de lots
- OpenAI et Anthropic proposent des API batch avec 50 % de réduction.
- Mettre en file les requêtes non urgentes et traiter en lots.
5. Fenêtre de contexte limite
- N’envoyer que le contexte pertinent, pas des documents entiers.
- Utiliser RAG pour récupérer uniquement les morceaux nécessaires.
- Résumez les longues conversations avant d’envoyer.
6. Surveiller et fixer les budgets
- Utiliser des tableaux de bord d’utilisation pour suivre les dépenses.
- Fixer des limites strictes par utilisateur et par fonctionnalité.
- Alerte pour des pics inhabituels.
7. Affiner plutôt que d’utiliser des prompts
- Un petit modèle affiné peut remplacer un grand modèle piloté par prompts.
- Permet d’économiser 5 à 10 fois sur les coûts par token à grande échelle (règle générale, pas un chiffre publié : le seuil de rentabilité dépend de votre volume de tokens, du coût d’entraînement et du couple de modèles, mesurez-le sur votre propre trafic).
8. Utilisez le streaming
- Le streaming permet aux utilisateurs d’annuler plus tôt, en économisant ainsi les tokens de sortie.
- Une meilleure expérience utilisateur aussi — les utilisateurs voient des résultats partiels.
9. Auto-hébergement pour les gros volumes
- À >10 millions de tokens par jour, les modèles open source auto-hébergés sont souvent moins chers (seuil indicatif, non publié : il ignore le temps d’ingénierie, la capacité GPU inactive et la possession du matériel, comparez donc avec votre propre facture).
- Utiliser vLLM ou TGI pour un service efficace.
10. Négocier des plans d’entreprise
- La plupart des fournisseurs proposent des réductions sur le volume.
- Engagez-vous à dépenser mensuellement pour de meilleurs tarifs.
Gain rapide : la mise en cache sémantique
De nombreux appels d’API sont des doublons ou des quasi-doublons. Un cache sémantique stocke les embeddings des entrées précédentes et leurs réponses. À l’arrivée d’une nouvelle requête, calculez son embedding et comparez la similarité avec le cache. Si la similarité cosinus dépasse 0,95, renvoyez la réponse mise en cache. À lui seul, cela peut réduire les coûts de 30 à 60 % pour de nombreuses applications.
Routage des modèles : la règle 80/20
Toutes les requêtes n’ont pas besoin d’un modèle de pointe. Routez les requêtes simples (mise en forme, réponses courtes, classification) vers des paliers moins coûteux comme GPT-6 Luna ou Claude Haiku 5.5. Réservez les modèles chers au raisonnement complexe, à la génération de texte long ou aux tâches exigeant une grande précision. Un classifieur simple en entrée peut trier les requêtes par complexité et les router en conséquence.
Traitement par lots et asynchrone
Si votre cas d’usage n’exige pas de réponses en temps réel, regroupez les requêtes. L’API batch d’OpenAI offre 50 % de réduction. Traitez aux heures creuses pour de meilleurs tarifs. De même, utilisez le streaming de façon sélective : le streaming est excellent pour les interfaces de chat mais gaspille des ressources en traitement d’arrière-plan.
L’essentiel de votre facture, ce sont des tokens d’entrée dont vous n’aviez pas besoin
Le réflexe est de négocier le prix par token. Le levier le plus important est généralement le nombre de tokens, et la plupart sont des entrées. Des prompts système longs, un contexte récupéré qui inclut des documents entiers au lieu du passage pertinent, et un historique de conversation qui grandit sans élagage multiplient votre facture à chaque requête. Mesurez le ratio tokens d’entrée / sortie de votre application ; s’il est très au-dessus de ce que la tâche exige, vous avez trouvé votre premier chantier.
Élaguez l’historique délibérément : gardez les derniers tours mot pour mot, résumez les plus anciens et jetez le reste. Mettez en cache le préfixe statique si votre fournisseur le permet, et structurez le prompt pour que la partie statique vienne en premier et la variable en dernier. Cet ordre seul change substantiellement la fraction mise en cache.
Routez par difficulté
Toutes les requêtes n’ont pas besoin de votre plus grand modèle. Un classifieur bon marché qui envoie les requêtes simples à un petit modèle et n’escalade que les difficiles peut réduire le coût d’un facteur important tout en gardant la qualité là où elle compte. Mesurez la qualité du chemin escaladé contre l’envoi de tout au grand modèle ; le constat habituel est que le petit modèle traite acceptablement la majorité du trafic et que le taux d’escalade est faible.
Attention aux tempêtes de nouvelles tentatives
Une requête qui échoue et réessaie trois fois coûte quatre fois plus cher et produit le même échec. Plafonnez les nouvelles tentatives, distinguez les erreurs réessayables des autres et journalisez le taux de réessai. Un pic soudain de coût est plus souvent une boucle de réessai qu’une hausse de trafic.
Achetez le moins cher qui passe votre évaluation
Faites tourner votre propre jeu d’évaluation contre un plus petit modèle avant de supposer qu’il vous faut la frontière. L’écart est souvent plus petit que la différence de prix, et la décision doit venir de vos données plutôt que d’une impression générale.
Les noms de modèles ont été vérifiés le 2026-11-10 dans la documentation officielle d’OpenAI et Anthropic.