Atención (Attention)

Mecanismo que permite al modelo ponderar qué partes de la entrada importan más para cada token de salida.

Al resolver a qué se refiere un «it» en una frase, la atención permite al modelo fijarse en el sustantivo correcto. La autoatención es lo que da a los Transformers su dominio del contexto a larga distancia.

Recursos relacionados

Tutorial de Transformers de Rostros Abrazados

Tutorial oficial de Transformers de Hugging Face, la biblioteca estándar de la industria para NLP y visión por computador. Cubre clasificación de texto, tokenización, traducción, segmentación de imágenes y más, con ejemplos de código para PyTorch y TensorFlow; orientado a profesionales que quieren aprovechar modelos preentrenados o ajustarlos con datasets propios para uso en producción.

Marco de Aprendizaje Profundo PyTorch

PyTorch es un framework líder de deep learning desarrollado por Meta, famoso por su grafo de computación dinámico e interfaz Pythonica. Impulsa tanto investigación de vanguardia como despliegues en producción, con un ecosistema rico en herramientas para entrenar, depurar y escalar modelos en GPUs y TPUs.