視覚言語モデル (Japanese Edition)

第6章 視覚言語モデルの主要な アーキテクチャ

この作品はAIを使って翻訳されている。ご意見、ご感想をお待ちしている：[e-mail]

これまでの章では、視覚モデル（VLM）の歴史を探り、それらが実行できるさまざまなタスクを検討し、その能力をベンチマークする方法を学んだ。また、大規模データセットを用いてゼロからモデルをトレーニングし、特定の振る舞いを誘導するために再トレーニングも行った。さて、次はモデルを解体し、内部で実際にどのように機能しているのかを見ていこう。

本章では、VLMの内部構造を探っていく。一般的な概念にとどまらず、これらのモデルがどのように構築されているかを詳しく見ていく。視覚情報とテキスト情報はどのように組み合わされているのか？ モデル構築において、どのような設計が一般的に用いられているのか？ こうした設計上の選択は、VLMの性能や処理速度にどのような影響を与えるのか？ これらの質問に答え、現代のVLM設計で用いられる主要な構成要素と戦略について考察する。

学習目標

この章を読み終える頃には、VLMにおいて視覚と言語の各部分がどのように連携しているかを明確に理解し、これらのモデルを強力なものにしている一般的な設計パターンを把握できるようになる。

情報を統合する鍵：マルチモダリティアテンション

多くの成功したVLMの中核をなすのは、アテンション機構だ。 トランスフォーマーについて聞いたことがあれば、おそらくアテンションについても耳にしたことがあるだろう。アテンションは、モデルが異なる単語のやり取りを理解するのを助けるため、最初に言語処理の分野で人気となった。VLMにおいて、アテンションはモデルが視覚データとテキストデータの重要な部分を発見し、結びつけるのを助ける。アテンションを理解することは重要だ。なぜなら、特に既存の強力な視覚モデルや言語モデルを活用する場合、現代のVLMがこれほど高い性能を発揮する大きな理由の一つだからだ。

アテンションの背後にある考え方は、驚くほど直感的だ。例えば、「The AI community building the future.」という文を読んでいると想像してほしい。「AI」という単語を読み取ったとき、脳は他のすべての単語を平等に扱うわけではない。本能的に、「the」よりも「future」や「community」との関連性を強く感じるはずだ。アテンションは、モデルに同じことをさせる。つまり、シーケンス内の各要素について、どの要素が最も重要かを判断し、それに応じて情報を統合するのだ。

これを行うため、モデルは各要素（単語や画像パッチ）を3つのベクトルに変換する：

クエリ (Q)

モデルが特定の要素について知りたいことを表す

キー (K)

各要素が他の要素に対してどれほど関連性があるかを決定する

値 (V)

要素自体に関する情報を含む

これら3つのベクトルは、要素の埋め込みを3つの学習済み重み行列（W_q、W_k、W_v）で乗算することで生成される。したがって、6語からなる文の場合、各単語の埋め込みにこれらの行列を乗算することで、6つのクエリ、6つのキー、6つの値が生成される。

アテンションの計算は、以下の3つのステップからなる：

1. 関連性の発見

モデルは、各クエリとすべてのキーについて内積を計算することで比較を行う。内積が大きいほど、「これら2つの要素は互いに関連性が高い」ことを意味する。この文の場合、これにより6×6の生スコアの行列が生成される。つまり、各単語が他の単語をどの程度重視しているかという情報だ。 ...