Transformer

La arquitectura de red neuronal detrás de los LLM modernos, que usa autoatención para procesar todos los tokens en paralelo.

Nació en el artículo de 2017 «Attention Is All You Need», desbancó a las redes recurrentes e hizo posible entrenar a escala masiva. Prácticamente todos los LLM conocidos de hoy son variantes del Transformer.

Recursos relacionados

Tutorial de Transformers de Rostros Abrazados

Tutorial oficial de Transformers de Hugging Face, la biblioteca estándar de la industria para NLP y visión por computador. Cubre clasificación de texto, tokenización, traducción, segmentación de imágenes y más, con ejemplos de código para PyTorch y TensorFlow; orientado a profesionales que quieren aprovechar modelos preentrenados o ajustarlos con datasets propios para uso en producción.

Marco de Aprendizaje Profundo PyTorch

PyTorch es un framework líder de deep learning desarrollado por Meta, famoso por su grafo de computación dinámico e interfaz Pythonica. Impulsa tanto investigación de vanguardia como despliegues en producción, con un ecosistema rico en herramientas para entrenar, depurar y escalar modelos en GPUs y TPUs.