Pourquoi l’évaluation est importante

Contrairement aux logiciels traditionnels, les applications LLM ont des sorties non déterministes. On ne peut pas simplement écrire des tests unitaires — il faut une évaluation systématique.

Indicateurs clés

  • Précision : Le résultat correspond-il à la réponse attendue ?
  • Pertinence : La réponse est-elle pertinente et utile ?
  • Fidélité : La réponse reste-t-elle dans le contexte fourni ?
  • Toxicité : Le résultat contient-il un contenu nuisible ?
  • Latence : Combien de temps prend la génération ?
  • Coût : Quel est le coût par demande ?

Approches d’évaluation

  • Évaluation humaine : Référence d’excellence mais lente et coûteuse.
  • LLM-as-juge : Utiliser un modèle fort (par exemple GPT-6 Astra ou Claude Sonnet 5.5) pour noter les sorties.
  • Métriques automatisées : BLEU, ROUGE pour résumé ; pass@k pour le code.
  • Test A/B : Comparer deux versions avec de vrais utilisateurs.

Outils

  • RAGAS : Évalue les pipelines RAG (fidélité, pertinence, rappel).
  • DeepEval : cadre d’évaluation de LLM open source avec 14+ métriques.
  • LangSmith : plateforme de traçage et d’évaluation développée par LangChain.
  • Braintrust : Évaluation et observabilité des produits d’IA.

Meilleures pratiques

  • Constituer un jeu de données d’évaluation de 100 à 500 exemples couvrant des cas limites.
  • Effectuer des évaluations à chaque changement de prompt.
  • Suivre les métriques dans le temps dans un tableau de bord.
  • Définir des portes de qualité : bloquez les déploiements si les scores passent sous le seuil.

Construire un jeu de données d’évaluation

La base de toute évaluation de LLM est un jeu de tests de haute qualité. Visez 100 à 500 exemples couvrant vos principaux cas d’usage, les cas limites et les modes de défaillance. Incluez à la fois des cas « faciles » (qui devraient toujours passer) et des cas « difficiles » (modes de défaillance connus). Étiquetez chaque exemple avec la sortie attendue ou, au minimum, le comportement attendu.

Indicateurs clés par type de tâche

  • Questions-réponses / RAG : correspondance exacte, score F1 et LLM-as-judge (utilisez un modèle de pointe actuel pour noter les réponses de 1 à 5 sur la pertinence, l’exactitude et la complétude).
  • Résumé : ROUGE-L pour le recouvrement, plus LLM-as-judge pour la cohérence et la fidélité (le résumé contient-il des informations absentes de la source ?).
  • Classification : précision, rappel et F1 par classe. Suivez aussi la matrice de confusion pour repérer les erreurs de classification systématiques.
  • Génération de code : Pass@k (le code passe-t-il les tests unitaires ?), plus une relecture humaine du style et de la maintenabilité.

Automatisation et tests de régression

Traitez l’évaluation LLM comme des tests unitaires. Lancez votre suite d’évaluation à chaque changement de prompt, mise à jour de modèle ou ajustement de configuration. Des outils comme LangSmith, Braintrust ou des scripts personnalisés avec pytest peuvent l’automatiser. Fixez un seuil de qualité : si un indicateur baisse de plus de 5 % par rapport à la référence, bloquez le changement et enquêtez.

Commencez par vingt exemples, pas deux mille

L’erreur d’évaluation la plus courante est d’attendre un grand jeu de données étiqueté. Vingt exemples que vous avez réellement lus, chacun avec la réponse que vous accepteriez, changeront vos décisions plus que deux mille extraits que vous n’avez pas lus. Commencez là, livrez contre cela, et ne l’agrandissez que lorsqu’un échec précis qui vous importe n’est pas représenté dans le jeu.

Le jeu doit refléter la distribution de l’usage réel, y compris les cas ennuyeux. Un jeu de vingt questions intéressantes mesure votre capacité à traiter des questions intéressantes et ne vous dit rien sur les quatre-vingt-dix pour cent du trafic qui est routinier.

Notez le composant, pas l’impression

Les scores de bout en bout sur une sortie ouverte sont bruités et difficiles à exploiter. Décomposez le pipeline : le bon contexte a-t-il été récupéré, la réponse était-elle fidèle à ce contexte, le format était-il valide, la latence acceptable. Chacun a un contrôle bon marché, et chacun pointe vers une correction différente. Un système qui échoue en fidélité a besoin d’un meilleur prompt ; un qui échoue en récupération a besoin d’un autre index ; un qui échoue en format a besoin d’une contrainte de schéma. Un seul nombre ne peut pas les distinguer.

Les modèles juges ont besoin de leur propre calibrage

Utiliser un modèle comme évaluateur est raisonnable et souvent nécessaire pour de la prose ouverte, mais le juge doit être calibré contre des étiquettes humaines sur un échantillon que vous avez réellement lu. Mesurez l’accord, pas seulement les scores du juge. Figez la version du juge et revérifiez le calibrage quand elle change, car un juge mis à jour en silence peut déplacer tout votre tableau de bord.

Conservez les échecs

Stockez chaque exemple échoué avec l’entrée qui l’a produit. Au fil des mois, cette collection devient l’actif le plus précieux du projet, car c’est le seul artefact qui encode ce en quoi votre système est réellement mauvais.

Les noms de modèles ont été vérifiés le 2026-11-10 dans la documentation officielle d’OpenAI et Anthropic.