Bien débuter avec les LLM : comment fonctionnent les grands modèles de langage

Un grand modèle de langage est un réseau de neurones entraîné sur d’immenses volumes de texte. Au fond, il ne fait qu’une seule chose : à partir du texte déjà écrit, prédire le mot suivant le plus probable.

Cette capacité en apparence banale — « prédire le mot suivant » — portée à une échelle colossale de paramètres et de données, fait émerger des aptitudes complexes : converser, traduire, coder, résumer.

Le modèle ne traite pas les caractères directement : il découpe d’abord le texte en tokens. Un token peut être un mot entier, un sous-mot ou seulement quelques caractères.

En anglais, 4 caractères font environ 1 token ; en chinois, chaque caractère représente en général 1 à 2 tokens. La facturation des API et les limites de contexte se mesurent toujours en tokens.

Face à une entrée (le prompt), le modèle calcule une probabilité pour chaque token de son vocabulaire, choisit le suivant selon une stratégie d’échantillonnage, l’ajoute à l’entrée, et répète la boucle jusqu’à la fin de la génération.

Le paramètre de température règle l’aléatoire : bas, la sortie est plus déterministe et prudente ; haut, elle est plus créative mais risque davantage de partir hors sujet.

Le nombre total de tokens qu’un modèle peut « voir » à la fois s’appelle la fenêtre de contexte. Ce qui la dépasse est tronqué ou oublié — d’où le besoin de résumer les longues conversations et de découper les longs documents.

Un LLM peut « raconter n’importe quoi avec aplomb » : c’est le phénomène d’hallucination. Le modèle ne « connaît » pas vraiment les faits ; il prédit seulement le texte qui ressemble le plus à une réponse.

C’est pourquoi, dès que l’exactitude compte, il faut combiner génération augmentée par récupération (RAG), appel d’outils ou vérification humaine pour réduire le risque.

L’entraînement d’un LLM se fait en plusieurs étapes. D’abord le pré-entraînement : le modèle lit des billions de tokens provenant d’internet, de livres, de dépôts de code et de jeux de données sous licence. Il y apprend la grammaire, la connaissance du monde et des schémas de raisonnement, mais ne suit pas encore bien les consignes et peut produire du contenu non sûr.

Vient ensuite le fine-tuning : des humains rédigent des paires question-réponse de haute qualité, et le modèle apprend à suivre les instructions et à refuser les demandes nocives. Enfin, l’apprentissage par renforcement à partir de retours humains (RLHF) aligne davantage le comportement du modèle sur les préférences humaines. C’est ce pipeline qui fait qu’un modèle brut et un produit poli comme ChatGPT partagent la même architecture mais se comportent de façon radicalement différente.

Les LLM sont désormais intégrés dans presque tous les types de logiciels. Parmi les cas d’usage courants : assistants de rédaction (brouillons d’e-mails, articles de blog, textes publicitaires), copilotes de programmation (autocomplétion, revue de code, génération de tests), chatbots de support client, résumé de documents, extraction de données à partir de textes non structurés et traduction. En éducation, ils servent de tuteurs personnels ; en santé, ils aident à rédiger des notes cliniques ; dans le juridique, ils accélèrent l’examen de contrats.

Tout LLM ne convient pas à every tâche. Lors du choix, considérez : (1) L’adéquation à la tâche — excelle-t-il dans votre cas d’usage (code, écriture créative, résumé) ? (2) La fenêtre contextuelle — peut-il gérer la longueur de votre document ? (3) Latence et coût — la tarification API rentre-t-elle dans votre budget pour le volume prévu ? (4) Confidentialité — pouvez-vous l’auto-héberger ou une API cloud suffit-elle ? (5) Support multilingue — performe-t-il bien dans vos langues cibles ? Avant de vous décider, benchmarkez deux ou trois candidats sur vos propres données ; les classements donnent un signal approximatif mais ne remplacent pas un test sur votre charge réelle.