LoRA

Méthode de réglage fin efficace qui gèle les poids de base et n’entraîne que de petites matrices de bas rang, réduisant fortement le coût.

Un adaptateur LoRA ne pèse souvent que quelques mégaoctets : on peut l’entraîner sur une seule carte grand public et changer d’adaptateur pour changer de comportement, sans dupliquer tout le modèle. Très répandu pour les styles Stable Diffusion et les LLM personnalisés.

Ressources associées

Réglage fin manuel des LLM

Un guide pratique et orienté terrain pour le fine-tuning des grands modèles de langage, couvrant les approches paramétriquement efficaces comme LoRA et QLoRA ainsi que le fine-tuning traditionnel. Il détaille la préparation des données, le réglage des hyperparamètres et les métriques d'évaluation avec des exemples de code réels — destiné aux ingénieurs ML qui veulent adapter des modèles de base à des domaines spécifiques sans le coût d'un entraînement from scratch.