生産性のためのハンズオンRAG (Japanese Edition)

第8章 マルチモダリティRAG

この作品はAIを使って翻訳されている。ご意見、ご感想をお待ちしている：[e-mail]

これまで、我々は主にテキストベースのRAGに焦点を当ててきた。そこでは、知識に基づくレスポンスは文字で表現可能なものに限定され、表、画像、音声、動画など、他の形式で表現された知識は無視されていた。

実際には、企業の知識は多くのモダリティで利用可能だ。財務報告書の損益計算書（P&L）、操作マニュアルの図解、あるいはカスタマーサービスのサービス呼び出しにおける言葉のニュアンスなどがそれにあたる。 図表を見たり、通話を聞いたり、表を読み取ったりできない場合、RAGシステムの精度は低下する。テキストベースの文書に基づいた回答は高品質だが、正確な回答に必要な情報が表や画像の中にある場合、低品質なレスポンスや誤ったレスポンスが返されることになる。

本章では、マルチモダリティRAGについて、またテキスト以外のモダリティで提供されるデータをRAGに統合する方法を探る。これらの他のモダリティを統合するための核心的な戦略に深く入り込み、それらがもたらす実運用上の課題を検討する。

この状況を把握するには、本番環境における「マルチモーダル」のあり方を明確にすることが役立つ。理想としては、テキストと同じくらい簡単に生の音声や動画を処理できる単一の「ネイティブ」なマルチモーダルモデルが望ましいが、現実は往々にして複雑さが大きい。実際には、企業向けマルチモーダルRAGに対する現在のアプローチのほとんどは、次の2つのカテゴリのいずれかに分類される。

「変換」アプローチ

の専用パーサー、自動音声認識（ASR）、 、またはビジョン・言語モデル（VLMs）を使用して、非テキストデータ を、標準的なRAGスタックに適合するテキストベースの構造化表現に変換する。

「ネイティブ」アプローチ

共有された潜在スペース内で、異なるマルチモダリティにわたる埋め込み をネイティブに処理できる、のマルチモーダルLLMを活用する。

本章では、信頼性と可観測性の面で依然として業界標準である「変換」アプローチに焦点を当てつつ、ネイティブのマルチモダリティ機能がこうした複雑なパイプラインをいかに簡素化し始めているかについても展望する。

表が埋め込まれた文書

多くの企業環境において、重要な情報を伝える埋め込み表を含む高価値な文書は数多く存在するが、 それらをRAGパイプラインに組み込むには、特殊化された戦略が必要となる。

埋め込み表の重要性とは？

表は、SEC報告書、研究論文、製品マニュアルなどの複雑な文書において非常に一般的だ。周囲のテキストが物語や定性的な分析を提供することが多い一方で、表自体は、高密度で構造化された「信頼できる情報源」を含む、独立した意味論的なマイクロドキュメントとして機能する。

例えば金融業界では、単一の四半期決算報告書において、収益と営業費用をマッピングするために「営業成績」に依存している。一例として、図8-1 はNvidiaの2025年10-K文書（40ページ）にある営業成績表を示している：

図8-1. Nvidiaの 2025年10-K報告書における業績表

同様に、サプライチェーンや製造業では、部品表（BOM） ...