Tokenizador

Componente que divide el texto en tokens procesables por el modelo y los vuelve a convertir en texto.

La mayoría de tokenizadores modernos usan esquemas de subpalabras como BPE: una palabra rara puede partirse en varios tokens mientras las comunes quedan enteras. De ahí que el mismo significado cueste distinto número de tokens según el idioma.

Recursos relacionados

Tutorial de Transformers de Rostros Abrazados

Tutorial oficial de Transformers de Hugging Face, la biblioteca estándar de la industria para NLP y visión por computador. Cubre clasificación de texto, tokenización, traducción, segmentación de imágenes y más, con ejemplos de código para PyTorch y TensorFlow; orientado a profesionales que quieren aprovechar modelos preentrenados o ajustarlos con datasets propios para uso en producción.

La guía completa de la API de OpenAI

Guía completa y paso a paso del ecosistema de la API de OpenAI: cubre en profundidad los modelos GPT, DALL·E y Whisper. Te acompaña desde el registro y la autenticación hasta tu primera llamada a la API, patrones de diseño de prompts y estrategias de optimización de costes; ideal para desarrolladores que se inician en la plataforma.