Transformer

L’architecture de réseau de neurones derrière les LLM modernes, qui utilise l’auto-attention pour traiter tous les tokens en parallèle.

Née dans l’article de 2017 « Attention Is All You Need », cette architecture a supplanté les réseaux récurrents et rendu possible l’entraînement à très grande échelle. Presque tous les LLM connus aujourd’hui en sont des variantes.

Ressources associées

Tutoriel sur les Transformers pour les Visages Câlins

Le tutoriel officiel de Hugging Face Transformers, la bibliothèque standard de l'industrie pour le NLP et la vision par ordinateur. Il couvre la classification de texte, la tokenisation, la traduction, la segmentation d'images et plus encore, avec des exemples de code pour les backends PyTorch et TensorFlow — destiné aux praticiens qui veulent tirer parti de modèles pré-entraînés ou les fine-tuner sur des jeux de données personnalisés pour la production.

Cadre d’apprentissage profond PyTorch

PyTorch est un framework open source de deep learning développé par Meta, réputé pour son graphe de calcul dynamique et son interface Pythonique. Il alimente aussi bien la recherche IA de pointe que les déploiements en production, avec un riche écosystème d'outils pour entraîner, déboguer et scaler des modèles sur GPUs et TPUs.