RLHF

Technique d’entraînement qui aligne les modèles sur les préférences humaines via un modèle de récompense appris à partir d’évaluations humaines.

Le RLHF explique en grande partie pourquoi les chatbots paraissent serviables et polis au lieu de simplement prédire du texte probable. Des variantes récentes comme DPO obtiennent un alignement comparable avec un entraînement plus simple.

Ressources associées

Réglage fin manuel des LLM

Un guide pratique et orienté terrain pour le fine-tuning des grands modèles de langage, couvrant les approches paramétriquement efficaces comme LoRA et QLoRA ainsi que le fine-tuning traditionnel. Il détaille la préparation des données, le réglage des hyperparamètres et les métriques d'évaluation avec des exemples de code réels — destiné aux ingénieurs ML qui veulent adapter des modèles de base à des domaines spécifiques sans le coût d'un entraînement from scratch.