応用・実装
マルチモーダルとは
Multimodal（マルチモーダル）
ひとことで言うと
テキスト・画像・音声・動画など、複数種類の情報をまとめて扱えるAIのことです。
詳しい説明
マルチモーダルとは、文字だけでなく画像・音声・動画といった複数の「モダリティ(情報の種類)」を横断して入力・出力できるAIを指します。人間が視覚と言語を同時に使うように、複数の感覚情報を統合して処理します。
たとえば写真を見せて内容を説明させたり、グラフ画像を読み取って要点を答えさせたり、音声で質問して回答を得たりできます。近年の主要モデルの多くがマルチモーダル対応を進めています。
テキスト単独では扱えなかった、現実世界の視覚・聴覚情報を含むタスクへ応用範囲を広げています。
具体例
- 料理の写真を見せて「レシピを教えて」と尋ねる。
- 手書きのメモ画像を読み取って、テキストに書き起こす。
よくある質問
マルチモーダルAIで何ができる?
画像の説明、図表の読み取り、音声での対話、動画の要約など、テキスト以外の情報を含むタスクに対応できます。視覚や聴覚を伴う実世界の作業支援に強みがあります。
本ページは、広く確立したAIの用語・概念を、公開情報にもとづき編集部がわかりやすく整理したものです。特定製品の最新仕様・数値は各提供元の公式ドキュメントをご確認ください。
最終更新: 2026-07-07