Multimodal

Modelle, die mehrere Datentypen wie Text, Bilder, Audio und Video verstehen und erzeugen.

Du kannst dem Modell etwa einen Screenshot zeigen und den Code für genau diese Oberfläche verlangen – oder ein Diagramm übergeben und eine Analyse erbitten. GPT und Gemini sind weit verbreitete multimodale Modelle.

Verwandte Ressourcen

Google Gemini API Dokumentation

Die offizielle Dokumentation der Google-Gemini-API, die Text-, Bild-, Audio- und Video-Verstehen in einer einheitlichen multimodalen Schnittstelle abdeckt. Sie enthält Guides zu Authentifizierung, Function Calling, Context Caching und Code-Ausführung mit einer grosszügigen kostenlosen Stufe zum Experimentieren – für Entwickler, die Anwendungen bauen, die mehrere Inhaltstypen in einem einzigen Request verarbeiten müssen.

LAION Open Multimodal Datasets

LAION (Large-Scale Artificial Intelligence Open Network) bietet riesige offene Bild-Text-Datensätze, die umfassend zum Training multimodaler Modelle wie CLIP und Stable Diffusion verwendet wurden. Die Datensätze sind frei verfügbar und dienen als wichtige Infrastruktur für die Open-Source-Forschung im Bereich generativer KI.