視覚言語モデル (Japanese Edition)

第2章 ビジョン言語モデルの アプリケーション

この作品はAIを使って翻訳されている。ご意見、ご感想をお待ちしている：[e-mail]

視覚と言語がどのように結びつけられるかを見てきたので、次は最新のビジョン・ランゲージモデル（VLM）がどのように機能するかを見ていこう。 現代のVLMは、通常、膨大な画像データセット、視覚言語データセット、言語データセットを用いてトレーニングされており、オブジェクト、動作、シーンの識別といった多様な視覚タスクを遂行できるほか、マルチモーダルタスクにおけるテキストの理解も可能だ。画像とテキストを結びつける可能性は無限のユースケースを生み出すが、ここでは最も一般的なユースケース、それらを解決するために用いられた初期のアプローチ、タスクの遂行方法、および特定のタスクにおけるモデルの評価方法に焦点を当てる。

始めるのに最も自然な場所は、視覚と言語をつなぐ最も単純な形、つまり「見たものを記述する」ことだ。画像が与えられたとき、モデルはそのコンテンツを捉えた文章を生成できるだろうか。これが画像キャプションであり、本章の多くのタスクの基盤となっている。

学習目標

本章では、最新のVLMで実現可能なすべてのタスクについて学ぶ。各タスクにおいて、その概要を確認し、推奨モデルを提示し、問題解決のための従来の取り組みを検討し、優れたモデルの評価方法などを解説する！

画像キャプション

で最初に扱うタスクは、画像キャプション生成だ。このタスクは、画像の視覚的な内容を自然言語で記述することである。画像キャプション生成は、コンピュータビジョンと自然言語処理の積集合に位置する。このタスクでは、モデルが画像を理解し（オブジェクト、属性、およびそれらの関係を識別し）、その画像を記述する首尾一貫した文章を生成することが求められる。これは、視覚と言語をつなぐ人工知能における根本的な問題である。

画像キャプション生成を解決するための初期のメソッドでは、画像を特徴表現に変換する視覚トランスフォーマー（通常は畳み込みニューラルネットワーク［CNN］）が採用されていた。この表現はその後、テキストデコーダ（通常はリカレントニューラルネットワーク［RNN］）に入力され、キャプションが生成された（図2-1を参照）。

図2-1. 画像キャプション 生成の入力、出力、およびモデルアーキテクチャの概要。

このエンドツーエンドのアプローチは、画像を「ソース言語」、英語を「ターゲット言語」として扱い、画像をキャプションに「翻訳」することを学習した。トレーニング中、長短期記憶（LSTM）は、画像から実際の人間が書いたキャプションの次の単語を予測することを学び、視覚的コンテンツと言語の関連性を作成することで、新しい画像に対して適切な説明を生成する。

最近のモデルでは、事前学習済みの大規模言語モデル（LLM）と強力な視覚エンコーダーを組み合わせて、キャプション生成の精度を向上させている。多くの汎用VLMは、画像を詳細にキャプション化できるだけでなく、他の視覚言語タスクも実行できる。GoogleDeepMindのGemma-3や、Alibabaの新しいQwen3.5といったモデルは、いずれもそのままの状態で高品質なキャプションを生成できる。 ...