멀티모달
텍스트·이미지·오디오·영상 등 여러 데이터 유형을 이해하고 생성하는 모델입니다.
멀티모달 모델에는 스크린샷을 보여주고 해당 UI의 코드를 요청하거나, 차트를 주고 분석을 맡길 수 있습니다. GPT와 Gemini가 대표적으로 널리 쓰입니다.
관련 리소스
구글 Gemini API 문서
Google Gemini API 공식 문서로, 통합 멀티모달 인터페이스에서 텍스트·이미지·오디오·비디오 이해를 다룹니다. 인증, 함수 호출, 컨텍스트 캐싱, 코드 실행에 대한 가이드를 포함하며 실험을 위한 넉넉한 무료 티어를 제공합니다. 단일 요청에서 여러 콘텐츠 유형을 처리해야 하는 애플리케이션을 구축하는 개발자를 대상으로 합니다.
LAION Open 멀티모달 데이터셋
LAION(Large-Scale Artificial Intelligence Open Network)은 CLIP, Stable Diffusion 등 멀티모달 모델 학습에 널리 사용된 대규모 오픈 이미지-텍스트 쌍 데이터셋을 제공합니다. 이 데이터셋은 무료로 제공되며 오픈소스 생성 AI 연구의 핵심 인프라로 활용됩니다.