直感 LLM ―ハンズオンで動かして学ぶ大規模言語モデル入門

9章マルチモーダルな大規模言語モデル

大規模言語モデルは通常、言語を扱うものと考えられがちですが、テキスト以外のデータを処理できる可能性も秘めています。たとえば、LLMが画像を見て、その内容に関する質問に答えられるようになれば、非常に便利なツールになります。このように、テキストや画像といった異なる種類のデータ（モダリティ）を扱えるモデルは、マルチモーダルモデルと呼ばれます（図9-1）。

図9-1　異なる種類のデータを扱えるモデルは、マルチモーダルモデルと呼ばれる。このようなデータには画像、音声、動画、センサーから得られた数値データなどが含まれる。ただし、あるモダリティを入力として受け取ることはできても、そのモダリティで出力できるとは限らない

LLMが大規模化するにつれ、新たな能力が次々と現れています。たとえば、汎化能力や推論力、計算能力、言語の理解力などがその一例です。モデルが大きくなるほど、新しい能力を獲得し、以前は不可能だったタスクにも対応できるようになっていきます†1。これにより、LLMの応用範囲はさらに広がっています。

[†1] Jason Wei et al. "Emergent abilities of large language models." arXiv preprint arXiv:2206.07682 (2022).

マルチモーダルな入力を処理し推論できる能力は、LLMの新たな可能性を引き出す鍵となります。現実世界では、言語は単独で存在することはなく、ボディランゲージや表情、声のトーンなどの非言語情報と結びついています。同様に、LLMがこれらの異なる情報を統合して処理できれば、LLMの能力はさらに向上し、より高度な問題解決が可能になります。 ...