Aller au contenu

Multimodal

Modèles capables de comprendre et de générer plusieurs types de données : texte, images, audio, vidéo.

Par exemple, montrez-lui une capture d’écran et demandez le code de cette interface, ou donnez-lui un graphique à analyser. GPT et Gemini comptent parmi les modèles multimodaux les plus utilisés.

Ressources associées

Documentation de l’API Google Gemini
La documentation officielle de l'API Gemini de Google, couvrant la compréhension de texte, image, audio et vidéo dans une interface multimodale unifiée. Elle comprend des guides sur l'authentification, le function calling, le cache de contexte et l'exécution de code, avec un niveau gratuit généreux pour l'expérimentation — destinée aux développeurs qui construisent des applications nécessitant le traitement de plusieurs types de contenu dans une seule requête.
Ensembles de données multimodaux ouverts LAION
LAION (Large-Scale Artificial Intelligence Open Network) fournit d'immenses jeux de données ouverts de paires image-texte largement utilisés pour entraîner des modèles multimodaux comme CLIP et Stable Diffusion. Les jeux de données sont librement accessibles et servent d'infrastructure clé pour la recherche en IA générative ouverte.