Multimodal RAGへの入り口：サーベイ論文から学ぶ全体像

この記事では、2025年に発表されたMultimodal RAG（MM-RAG）の網羅的なサーベイ論文を読み解き、自分なりの理解を言語化しました。インプットした知識をアウトプットすることで、自分自身の理解を深めるとともに、これからこの分野に挑戦する方の参考になれば幸いです。

---

1. 概要

Multimodal RAGに取り組む背景

• LLMの課題とRAGの役割
  LLMは学習済みの情報に基づいて回答を生成するため、最新情報や専門性の高い情報など、モデルが持っていない情報に関連する質問には弱いです。単純に間違った答えを返したり、持っている情報を無理やり組み合わせて「もっともらしい嘘（ハルシネーション）」をついたりする問題があります。この問題を解決するためにRAG（Retrieval-Augmented Generation）が用いられています。
• RAGの仕組み
  クエリと外部のテキストデータをベクトル空間に射影し、距離が近い（関連性が高い）候補を「コンテキスト」としてモデルに提供します。これにより、モデルが本来持っていない情報についても適切に答えられるようになります。
• マルチモーダル化の必要性
  現在はテキスト中心のRAGが主流ですが、画像で検索したい（画像クエリ）、画像から状況を説明させたい（テキスト出力）、あるいは似た画像を探したい（画像出力）といったニーズが増えています。
• モーダル変換の課題
  画像データをITT（Image-to-Text）技術でテキストに変換してから既存のRAGを使う手法もありますが、変換精度の低下、処理時間の増大、トークン消費のコストといった課題があります。また、出力を画像にする際にTTI（Text-to-Image）で再変換を行うと、さらに生成結果の質が落ちる恐れがあります。
• Multimodal RAGの研究
  そこで、モーダル変換技術に頼ることなく、異なるモーダルの情報を直接かつ効率的に活用するために、Multimodal RAGの研究が進められています。

本記事の方向性

Multimodal RAGについて網羅的に説明されている最新のサーベイ論文を読み、そこで説明されている技術についての自分なりの理解をアウトプットします。同じようにマルチモーダルRAGに興味を持っている方への参考になれば幸いです。

参照論文情報

• タイトル: 「Ask in Any Modality: A Comprehensive Survey on Multimodal Retrieval‑Augmented Generation」
• 提出状況: 初版 2025年2月12日 / 最新(v3) 2025年6月2日
• 注目度: 2025年12月5日時点でGoogle Scholarの引用数48件

2. 論文の内容

論文の章立てに沿って、各技術のポイントを解説します。

2.1 Introduction & Background

LLMの限界

生成AIモデルは、学習データに含まれない最新情報や組織固有の情報に関するクエリに対し、誤った回答や架空情報を生成してしまうという限界があります。

Retrieval-Augmented Generation (RAG)

ユーザーの質問に的確に答えるために、回答作成の参考になる情報をコンテキストに含める必要が生じます。しかし、その情報をユーザー自身に入力させるのは負担が大きくなります。
そこで、ユーザーの入力負担を最小限にしつつ、コンテキストに十分な情報を与えるために、RAGが考案されました。
RAGは、あらかじめクエリと関連情報の双方を同じベクトル空間に射影しておき、関連情報ベクトル群の中からクエリベクトルと距離が近いものを取得する「検索（Retrieval）」を行い、その結果を適切な表現にしてコンテキストに加える「拡張（Augmentation）」を経て、回答を「生成（Generation）」する手法です。
ただし、ベクトル変換前にノイズが混入していると検索精度が落ちるため、収集した候補を再度詳細に比較して並べ直すre-rankingが重要になります。

Multimodal Learning

異なるモーダルのデータをセットで学習する技術は、CLIPによって飛躍的に進歩しました。

• CLIPのコントラスト学習:
  • テキストと画像のデータをセットにして学習することで、それぞれのデータをエンコードしたベクトルが同じベクトル空間に射影されるようにしました。
  • モーダル別のエンコーダーを用意し、Web上の画像とキャプションのペアを「正例」として、画像由来のベクトルとテキスト由来のベクトルの内積（関連度）が高くなるように学習します。
  • これにより、異なるモーダル由来のベクトルを同じベクトル空間に射影することが可能になります。例えば、"猫"というテキストと"猫の画像"に由来するベクトルが近くに配置されます。
  • ただし、学習データのノイズ（画像とキャプションの不一致）や、負例がないことによるハルシネーションの懸念があり、改善の検討が進められています。

Multimodal RAG

複数モーダルの融合方法については、大きく分けて以下の2つの方向性で検討が進んでいます。

• 前述のMultimodal Learningのように、1つのモデルをマルチモーダルに対応させる方式。
• 検索までは各モーダルで個別に行い、その後にモーダルごとの類似度や検索結果を融合させる方式。

2.2 Datasets, Evaluation, and Applications

• マルチモーダル要約、ビジュアル QA、ビデオ理解などのタスクを支える、さまざまなデータセットとベンチマークがあります。
• マルチモーダル RAG は、医療、ソフトウェア工学、ファッション、エンターテイメント、そして新興分野 (ニッチで新しい応用領域) など、多様なドメインにまたがって応用されています。
• これらのシステムを評価するには、多様な指標 (metrics) が必要です。具体的には、検索精度、生成 (generation) の質、モーダル間の整合性 (modality alignment) をカバーするものです。

2.3 Key Innovations and Methodologies

① Retrieval strategies (検索戦略)

• Efficient Search and Similarity Retrieval
  • 精度面：CLIP（類似度の調整学習）やBLIP（Cross-modal attentionによる強調）などの手法があります。
  • 検索手法：精密ですが計算負荷の高い「MIPS」や、精度と時間のバランスをとる「近似MIPS」が使われます。
    • MIPS（Maximum Inner Product Search：最大内積検索）：内積が最も大きいベクトルペアが最も近いと判定します。ベクトルの全次元を用いて計算するため精密ですが、計算量が膨大になります。
    • 近似MIPS：例えばIVF（Inverted File Index：転置インデックス）という手法では、検索対象のベクトル群をクラスタリングして各クラスタの中心を求めておきます。クエリベクトルとの距離計算で最近傍クラスターを特定し、そのクラスター内のメンバーとのみ距離計算を行うことで高速化を図ります。
• Modality-Based Retrieval
  テキスト、ビジョン、ビデオ、オーディオといったモーダルごとに、それぞれの特性を活かした検索を行った後、類似度や検索結果データを融合します。
• Document Retrieval and Layout Understanding
  OCRを経由せず、ドキュメントを直接イメージとしてエンコーディングする手法も検討されています。
  • OCRを経由する場合：画像、テキスト、フォーマットに一度分解し、画像とテキストそれぞれを入出力とするモデルを構築して、画像ベクトルとテキストベクトルが同じ空間に射影されるように学習します。
  • OCRを経由しない場合：画像のみを入力とし、画像とテキストの双方を出力できる融合モデルを構築する手法を採ります。
• Re-ranking and Selection Strategies
  • Optimized example selection: 最適な検索結果を選別します。
    • SK-VQA: 画像・テキスト・質問を正しく認識する学習モデルを用い、関連の深い検索結果を選別します。
  • Scoring mechanisms: 質問の種類に応じて重みを調整して融合したスコアでのリランキングや、LLMを用いたリランキングなどが行われます。
  • Filtering methods: 類似度の低い結果の排除、ハードネガティブマイニング（紛らわしい負例を正しく判定させる学習）、モーダル間でのスコア傾向の不一致をノイズとして排除するなどの処理が行われます。

② Fusion mechanisms (融合メカニズム)

• Score fusion and Alignment
  • モーダルごとに異なるスコア分布を共通のスコア分布に射影するモデルを作成し、スコアを補正・融合します。
  • 質問の種類に応じて動的に重みを算出し、加重平均によって1つのスコアに統合します。
• Attention-Based Mechanisms: 最終回答を生成するモデル内部でアテンション機構を利用し、異なるモーダル由来のコンテキストをどのように採用するか調整します。
• Unified Frameworks and Projections: 入力は異なるモーダルを許容し、出力はテキストに限定することで、情報を1つのモーダルに統合します。

③ Augmentation Techniques（拡張技術）

検索された情報の価値を最大化する手法です。

• Context Enrichment（コンテキストの充実）:
  検索段階では画像ベクトルのまま扱い、コンテキスト挿入段階で画像を説明する詳細なテキストを生成して活用する方法があります。
  • 画像のキャプション生成
  • メタデータや構造情報のテキスト化
  • 外部API（OCR等）を利用したテキスト生成
• Adaptive and Iterative Retrieval: エージェント指向（Agentic）なフローを構築し、自己反省やプランニングを通じてコンテキストを繰り返し改善します。

④ Generation Techniques (生成技術)

• ReActやプロンプトエンジニアリングの活用に加え、複数モーダルを扱う際に出典情報が不明瞭になりがちな点に注意が必要です。
• マルチエージェント型で役割を分担させ、コンテキストの精度を高める手法も検討されています。

⑤ Training Strategies (学習戦略)

• Alignment (アライメント): 共通のベクトル空間において、関連が高いペアは近くに、低いペア（ハードネガティブ）は遠くに射影されるよう整合性を確保することが肝要です。
  • ハードネガティブマイニングにより、関連の低いペアを正しく「関連が低い」と判定させる必要があります。
  • 異なるモーダル由来のベクトルペアであっても、正例は近く、負例は遠くに配置されるべきです。
  • 学習時の損失関数には、モーダル間の正しい関連性とモデルが算出した関連性の差異を計上する方式を採用する必要があります。
  • テキストと画像、テキストと音声、テキストとテキストなど、モデルが扱うすべてのモーダルの組み合わせにおいて整合性を確保する必要があります。

2.4 Open Problems and Future Directions

• スケーラビリティ: コンテキストの肥大化、処理時間の増加、LLMの利用費用やDBサイズの増大が課題です。
• ロバスト性と説明性: 仕組みが複雑なため説明性の確保が難しく、敵対的なデータの混入（攻撃）に対する脆弱性も指摘されています。
• Reasoning and Alignment: マルチモーダルを意識した推論や、テキスト以外のグラフRAGの概念などはまだ発展途上です。
• Agent-Based Systems: 各モーダルの情報を精査するマルチエージェント型のシステム構成について活発に検討されています。

2.5 Appendix

• データセットとベンチマーク: 多様な公開データセットとベンチマークが存在します。
• 評価方法・評価指標: モーダルの組み合わせが多岐にわたるため、評価手法も多種多様です。
• ロバスト性と損失関数: 複数モーダルの組み合わせによって生じるノイズを考慮した損失関数の設計が必要です。
• 応用・関連タスク
  • マルチモーダルなコンテンツ生成（例：テキストから画像、画像からテキストなど）
  • ドメイン適応例
    • 医療: 画像診断と患者情報の統合による高精度な診断や、ハルシネーションを抑制した信頼性の高いレポート生成。
    • ソフトウェア: 技術文書と要件からの高精度なコード生成。
    • エンターテインメント: 試合動画と統計データからのスポーツ分析。
• 将来の方向性
  以下の課題への対処が必要です。
  • コンテキストや処理時間の肥大化。
  • コストやインフラ面でのスケーラビリティの確保。
  • 複雑な仕組みにおけるパーソナライゼーションの両立。

3. 論文を読んでみての所感

ここからは、論文を読み解いた私個人の所感です。

• 構築の可能性: 公開されているモデルを組み合わせれば、動作するマルチモーダルRAGシステムを構築することは十分に可能であると感じました。
• 整合性確保の壁: 精度を出すためには、検索・スコアリング・リランキング・コンテキスト挿入の各段階で妥当性を検証する必要があり、その分析には相応の工数が予想されます。
• トレードオフの懸念: マルチエージェント化による精度向上と、開発難易度・検証コストのバランスを慎重に見極める必要がありそうです。
• 早期実装への意欲: 単一モーダルに比べて可能性が大きく広がるため、早期に実装に挑戦して課題を洗い出し、改善を図りながら社会実装を目指したいと考えています。

終わりに

マルチモーダルRAGは、これからの進化が非常に楽しみな分野です。この記事が、皆さんのマルチモーダルRAGへの第一歩を後押しするものになれば嬉しいです。

最後までお読みいただきありがとうございました！