マルチモーダル

テキスト、画像、音声、動画など複数のデータ種別を理解・生成できるモデル。

例えば、スクリーンショットを見せて「この UI のコードを書いて」と頼んだり、グラフを渡して分析させたりできる。GPT や Gemini が広く使われるマルチモーダルモデル。

関連リソース

Google Gemini API ドキュメント

Google Gemini API の公式ドキュメント。テキスト、画像、音声、動画の理解を統合されたマルチモーダルインターフェースでカバー。認証、関数呼び出し、コンテキストキャッシュ、コード実行のガイドを含み、実験に十分な無料枠を提供。単一リクエストで複数コンテンツタイプを処理する必要があるアプリケーションを開発する開発者向け。

LAION オープンマルチモーダルデータセット

LAION（Large-Scale Artificial Intelligence Open Network）は、CLIP や Stable Diffusion などのマルチモーダルモデルの学習に広く利用されてきた大規模なオープンソース画像-テキスト対データセットを提供する。データセットは自由に利用可能で、オープンソース生成 AI 研究の重要インフラとなっている。