Multimodal

Modelos que entienden y generan varios tipos de datos, como texto, imágenes, audio y vídeo.

Por ejemplo, puedes enseñarle una captura de pantalla y pedirle el código de esa interfaz, o darle una gráfica y pedirle un análisis. GPT y Gemini son los modelos multimodales más usados.

Recursos relacionados

Documentación de la API de Google Gemini

Documentación oficial de la API Gemini de Google, que abarca comprensión de texto, imagen, audio y vídeo en una interfaz multimodal unificada. Incluye guías sobre autenticación, function calling, caché de contexto y ejecución de código, con una generosa capa gratuita para experimentación; orientada a desarrolladores que construyen aplicaciones que necesitan procesar múltiples tipos de contenido en una sola petición.

Conjuntos de datos multimodales abiertos LAION

LAION (Large-Scale Artificial Intelligence Open Network) ofrece enormes datasets abiertos de pares imagen-texto utilizados ampliamente para entrenar modelos multimodales como CLIP y Stable Diffusion. Los datasets son de acceso libre y constituyen infraestructura clave para la investigación en IA generativa abierta.