Attention

Mécanisme qui permet au modèle de pondérer les parties de l’entrée les plus importantes pour chaque token de sortie.

Pour savoir à quoi renvoie un « it » dans une phrase, l’attention permet au modèle de se concentrer sur le bon nom. C’est l’auto-attention qui donne aux Transformers leur maîtrise du contexte à longue portée.

Ressources associées

Tutoriel sur les Transformers pour les Visages Câlins

Le tutoriel officiel de Hugging Face Transformers, la bibliothèque standard de l'industrie pour le NLP et la vision par ordinateur. Il couvre la classification de texte, la tokenisation, la traduction, la segmentation d'images et plus encore, avec des exemples de code pour les backends PyTorch et TensorFlow — destiné aux praticiens qui veulent tirer parti de modèles pré-entraînés ou les fine-tuner sur des jeux de données personnalisés pour la production.

Cadre d’apprentissage profond PyTorch

PyTorch est un framework open source de deep learning développé par Meta, réputé pour son graphe de calcul dynamique et son interface Pythonique. Il alimente aussi bien la recherche IA de pointe que les déploiements en production, avec un riche écosystème d'outils pour entraîner, déboguer et scaler des modèles sur GPUs et TPUs.