「マルチモーダル」とは、文字だけでなく、画像・音声・動画など複数の種類の情報をまとめて理解したり作ったりできるAIのことです。写真を見せて質問する、声で会話する、画像や動画を作ってもらう、画面を見ながら手伝ってもらう、といった使い方はどれもマルチモーダルのおかげです。
当記事では、マルチモーダルの意味やシングルモーダルとの違い、仕組み、できること、ChatGPT・Claude・Geminiの対応、メリットと注意点をAI初心者向けにわかりやすく解説します。
マルチモーダルとは？文字・画像・音声をまとめて扱えるAIのこと
マルチモーダルの意味
マルチモーダル（multimodal）の「マルチ」は「複数」、「モーダル」はモダリティ（modality）のことで、ここでは「情報の種類」を指します。つまり、マルチモーダルAIとは、テキスト・画像・音声・動画などの複数の種類の情報を扱えるAIのことです。
Google Cloudの公式ページでは、マルチモーダルモデルを、画像・動画・テキストなど異なるモダリティの情報を処理できる機械学習のモデルと説明しています。例として、クッキーが乗った皿の写真をGeminiに見せるとレシピを文章で返し、その逆もできると紹介しています。
人にたとえると、目（画像）・耳（音声）・文字を読む力を一緒に使って考えられるAIです。私たちが「この写真の料理、どうやって作るの？」と聞かれたら、写真を見ながら言葉で答えますよね。マルチモーダルAIも同じことができます。
シングルモーダルとの違い
1種類の情報だけを扱うAIを、シングルモーダル（ユニモーダル）と呼びます。IBMの公式解説では、最初のChatGPTは文字を受け取って文字で答えるシングルモーダルの例として紹介され、今の画像生成AIや音声にも対応したモデルはマルチモーダルの例とされています。
| シングルモーダル | マルチモーダル | |
|---|---|---|
| 扱う情報 | 1種類だけ（例：文字だけ） | 文字・画像・音声・動画など複数 |
| 入力の例 | 文章で質問する | 写真＋文章で質問する、声で話しかける |
| 出力の例 | 文章で答える | 文章・音声・画像・動画で返す |
| 身近な例 | 初期のチャットAI（最初のChatGPTなど） | 今のChatGPT・Claude・Gemini |
※IBM・Google Cloudの公式解説をもとに編集部が整理
マルチモーダルAIの仕組みは？ざっくり3ステップで理解する
中身は複雑ですが、IBMの公式解説をもとにすると、情報の種類ごとに読み取り、共通の形にそろえて、まとめて考えるという流れでつかめます。
- 読み取る：画像は画像用、文字は文字用というように、種類ごとに専用の部品（エンコーダー）が特徴を取り出す
- そろえる：取り出した特徴を、AIが比べたり組み合わせたりできる共通の形（数字の並び）に変える
- まとめて考える：そろえた情報を組み合わせて（融合）、答えの文章や音声、画像を作る
IBMは、組み合わせるタイミングには、最初にまとめる方法・途中でまとめる方法・別々に処理して最後にまとめる方法があると説明しています。また、マルチモーダルモデルは、文章を扱う大規模言語モデル（LLM）にさらに複雑な仕組みを加えたものだと説明しています。
▶ 関連記事：LLMとは？大規模言語モデルの仕組みとChatGPTとの違い、得意・苦手を解説
AIの中では、画像も文字と同じように「トークン」という単位に分けて数えられます。たとえばGemini APIの公式ドキュメントでは、縦横384ピクセル以下の画像は258トークンとして数えると書かれています（2026年11月2日時点）。画像をたくさん送ると、そのぶん料金や使える量に影響するということです。
▶ 関連記事：トークンとは？AIが文章を数える単位、料金や文字数の目安と数え方
>>IBM公式「What is multimodal AI?」（英語）
マルチモーダルでできることの例、写真・音声・生成・画面
マルチモーダルに対応したAIでは、次のようなことができます。どれも各社の公式ドキュメントやヘルプで紹介されている使い方です。
| できること | 具体例 |
|---|---|
| 写真を見せて質問 | レシートや表の写真から文字を読み取る、グラフの内容を説明してもらう |
| 音声で会話 | 声で話しかけて声で答えてもらう、話している途中で割り込む |
| 画像や動画を作る | 文章で頼んで画像を作る、写真を元に動画にする |
| 画面やカメラを見て手伝う | スマホの画面やカメラの映像を共有して、見ているものについて相談する |
※2026年11月2日時点・各社の公式ドキュメント・ヘルプより編集部が整理
写真を見せて質問する
いちばん身近なのが、画像を読ませて質問する使い方です。OpenAIの公式ガイドでは、画像に写っているものの説明、画像の中の文字の読み取り、物の形や色についての質問に答えられると説明しています。Google Cloudも、画像から文字を取り出したり、画像についての質問に答えたりする例を挙げています。
音声で会話する
ChatGPTの音声モードやGemini Live、Claudeの音声モードでは、文字を打たずに声で会話できます。OpenAIの公式ヘルプによると、ChatGPTの「Live」は聞くことと話すことを同時に行えるため、話す順番の交代や割り込みが自然になっています。
画像や動画を作る
「受け取る」だけでなく「作る」ほうのマルチモーダルもあります。ChatGPTでは画像の作成や編集ができ、Geminiアプリでは文章や画像・動画から動画を作れます。こうした文章から画像や動画を作る技術は、生成AIの代表的な使い方です。
▶ 関連記事：生成AIとは？意味と仕組み、できること・種類と代表的なサービス、リスクと注意点
画面やカメラを見て手伝ってもらう
スマホのカメラに映したものや、画面に表示している内容をAIに見せて、その場で相談する使い方も広がっています。Gemini Liveでは、会話しながらカメラの映像を流したり画面を共有したりできます。GoogleのAndroid XRで動くXRグラス「XREAL AURA」でも、Geminiが見ているものを理解して手伝う仕組みが紹介されています。
▶ 関連記事：XRグラス「XREAL AURA」発表！日本は11月2日から注文、価格とGeminiでできること
マルチモーダルに対応した代表的なAI、ChatGPT・Claude・Geminiの違い
主なAIの対応を、公式のヘルプやドキュメントで確認できた範囲でまとめると次の通りです（2026年11月2日時点）。
| ChatGPT | Claude | Gemini | |
|---|---|---|---|
| 画像を読む | ○ | ○ | ○ |
| 音声で会話 | ○（音声モード） | ○（音声モード・ベータ版） | ○（Gemini Live） |
| 画像を作る | ○（ChatGPT 画像） | ×（公式に作れないと明記） | ○（Nano Banana 2） |
| 動画を作る | －（今回は未確認） | －（動画を作る機能の案内なし） | ○（Google AI プランが必要） |
| カメラ・画面の共有 | ○（スマホの「Advanced」の音声で対応） | －（音声モードのヘルプに記載なし） | ○（Gemini Live） |
※2026年11月2日時点・各社の公式ヘルプ・ドキュメントより編集部が整理。プラン・地域・端末によって使えない場合があります
ChatGPT
OpenAIの公式ヘルプによると、ChatGPTの音声モードには「Live」「Advanced」「Standard」の3つがあり、Liveでは音声会話の途中で画像を添付することもできます。ただしLiveはビデオや画面の共有には対応しておらず、カメラや画面を見せたいときは、スマホアプリで「Advanced」を使うよう案内されています。画像の作成・編集は「ChatGPT 画像」の機能として、すべてのプランで使えると書かれています。
Claude
Anthropicの公式ドキュメントによると、Claudeは画像を読み取って分析できます（JPEG・PNG・GIF・WebPに対応）。claude.aiでは1回のやり取りで最大20枚まで画像を送れます。一方で、Claudeは画像を理解する専門で、画像を作ったり編集したりはできないと明記されています。音声モードは、スマホアプリ・デスクトップアプリ・Webでベータ版として提供され、英語以外の言語もベータ版で対応しています。
Gemini
Google Cloudの公式ページでは、Geminiは最初からテキスト・画像・動画・音声・コードをまたいで考えられるように設計されたと説明されています。Gemini Liveでは声の会話に加えてカメラの映像や画面を共有でき、Geminiアプリでは画像生成モデル「Nano Banana 2」で画像を作ったり、動画生成モデル「Gemini Omni」で動画を作ったりできます（動画はGoogle AI プランが必要・18歳以上）。
また、自分で手順を考えて作業を進めるAIエージェントでも、マルチモーダルは欠かせません。たとえばClaudeのパソコン操作機能（computer use）では、画面のスクリーンショットを画像として受け取って、次の操作を決めます。
▶ 関連記事：AIエージェントとは？チャットとの違いと仕組み、Claude Code・Codexなどの例
マルチモーダルのメリットと注意点
メリット：説明しにくいことも「見せる」だけで伝わる
IBMの公式解説では、マルチモーダルのメリットとして、情報が増えることで正確さが上がる、あいまいさが減る、声や見た目の手がかりにも応えられる自然な使い心地になる、といった点を挙げています。
初心者にとっての一番の利点は、言葉で説明しにくいことも、写真や画面を見せれば伝わることです。エラー画面、家電の説明書、手書きのメモなどを、長い文章にしなくてもそのまま相談できます。
注意点：画像の読み間違いや、見せる情報に気をつける
一方で、マルチモーダルAIは万能ではありません。各社の公式ドキュメントでは、次のような限界が書かれています。
- 読み間違い：Claudeは画質が低い・回転している・小さすぎる画像では間違えることがある。OpenAIも、回転した文字や細かい文字を読み違えることがあるとしている
- 数えるのは苦手：画像の中の物の数は、だいたいの数になることがある（Anthropic・OpenAI）
- 日本語の文字：OpenAIは、日本語や韓国語のようなラテン文字以外の文字の読み取りは苦手な場合があると書いている
- AIが作った画像の見分け：Claudeは、画像がAIで作られたかどうかを判定できないとしている
- 医療の画像：CTやMRIのような専門的な画像の診断には向かないとされている（Anthropic・OpenAI）
また、写真や画面には、住所・名前・顔・メールアドレスなどの個人情報が写り込みやすいものです。AIに見せる前に、必要のない部分が写っていないか確認しましょう。大事な内容は、AIの答えをうのみにせず自分でも確かめるのが基本です。
マルチモーダルと一緒に知りたい関連用語
マルチモーダルを理解すると、次の用語もつながって見えてきます。
- LLM（大規模言語モデル）：マルチモーダルAIの土台になっている、文章を扱うAI
- トークン：AIが情報を数える単位。画像や音声もトークンとして数えられる
- 生成AI：文章・画像・動画などを新しく作るAI。マルチモーダルはその幅を広げる
- AIエージェント：画面を見ながら作業を進めるAI。マルチモーダルの力を使っている
▶ 関連記事：生成AIとは？意味と仕組み、できること・種類と代表的なサービス、リスクと注意点
▶ 関連記事：AI用語集！LLM・トークン・AIエージェントなど、よく使う言葉の意味をひとことで
【まとめ】マルチモーダルは「見て・聞いて・話せる」AIのこと
マルチモーダルとは、文字・画像・音声・動画など複数の種類の情報をまとめて扱えるAIのことです。写真を見せて質問する、声で会話する、画像や動画を作る、画面を見て手伝ってもらう、といった使い方ができ、ChatGPT・Claude・Geminiも対応しています。ただし画像の読み間違いや、写り込んだ個人情報には注意して、上手に使い分けていきましょう。
AIの技術・サービス・ルールは変化が速く、本記事の予測や見通しは将来を保証するものではありません。各サービスの仕様・料金は公式サイトで最新の情報をご確認ください。本記事の情報は2026年11月2日時点のものです。
