視覚言語モデル (Japanese Edition)

第3章 ビジョン言語モデルの トレーニング

この作品はAIを使って翻訳されている。ご意見、ご感想をお待ちしている：[e-mail]

第2章では、落ち葉の敷き詰められた野原を駆け抜ける子供のような、視覚モデル（VLM）のアプリケーションを探った。私たちはそれを喜んだが、自分が何をしているのかは完全には理解していなかった。さあ、もっと深い意味を発見しよう。そのやる気をすべて掴み取り、良いことに役立てよう。モデルをいくつかトレーニングさせてみよう。

この章では、モデルトレーニングのプロセスを分かりやすく解説し、VLMが実際にどのように学習していくかを段階を追って説明する。

この章の終わりまでに、以下のことができるようになるだろう：

• シングルサンプル更新を用いて、小さなモデルをトレーニングする。

• これをバッチ処理にスケールアップし、トレーニングの挙動がどのように変化するかを確認する。

• 効率的な大規模トレーニングのために、画像と指示がどのように組み合わされるかを理解する。

VLMのアーキテクチャ、事前学習、データパッキング、推論、そして実用的なトレーニングのコツなど、全工程を網羅する。準備はいいか。これから、損失曲線が下降していく様子に一生夢中になることになるだろう。

学習目標

VLMの設計とトレーニングの開発に関するベストプラクティスを確立する。

ビジョン言語モデルのトレーニングの概要

VLMのトレーニングを始める前に、共通の語彙を確立しておこう。これらの概念の多くは個別に知っているかもしれないが、すべてをまとめて見ると圧倒されるかもしれない。用語法では、トレーニングの段階（事前学習、中間学習、事後学習）とトレーニングメソッド（対比学習、アラインメント、RLHF）が混同されることが多い。

さらに厄介なことに、これらの定義は時間とともに変化する。例えば、教師あり学習や強化学習は従来、ポストトレーニングのテクニックと見なされていたが、現在では研究者たちがその境界線を曖昧にし、モデルトレーニングのライフサイクルのより早い段階でこれらのテクニックを適用している。

そこで、これらの用語を整理してみよう。最も簡単な方法は、定義を「いつ」（トレーニング段階）と「どのように」（トレーニングパラダイム）という2つの明確な次元に分けることだ。

方法：さまざまなトレーニングパラダイムの役割

手持ちのデータや、モデルに で達成させたい目標に応じて、異なるトレーニングパラダイムを用いることになる：

教師あり学習

これは「 」であり、トランスフォーマーが登場するずっと前から機械学習で用いられてきた手法だ。入力（画像）とターゲットテキスト（「これは猫の写真だ。かわいい」）がある。 モデルの目的は、生成された出力とそのターゲットテキストとの差を最小化することだ。これは高品質だがコストが高く、インストラクションチューニングに用いられる。第4章で詳しく説明するように、入力は人間が作成したものや合成されたものでもよい。光学文字認識（OCR）、キャプション生成、分類など、あらゆる種類のアプリケーションで使用されている。

教師なし学習

この例 には、ラベルや画像とテキストのペアがない。ここでは、データそのものは安価に入手できるが、膨大な量のデータを処理する必要があるため、トレーニングにはコストがかかる可能性がある。 良い例として、写真をグループ分けすることを学習するモデルが挙げられる。このモデルは、それらのグループにどのような名前をつけるかを知る必要はない（そのための別のモデルを用意すればよい）。必要なのは、山を撮った写真はまとめてグループ化し、ラテアートを撮った写真とは区別すべきだということを認識することだけだ。 ...