直感 LLM ―ハンズオンで動かして学ぶ大規模言語モデル入門

12章生成モデルのファインチューニング

本章では、事前学習済みのテキスト生成モデルをファインチューニングする方法について説明します。ファインチューニングは、モデルを特定の目的や使い方に適応させるために不可欠なステップです。このプロセスによって、モデルは特定のデータセットやドメインに合わせた高品質な出力を生成できるようになります

本章では、テキスト生成モデルをファインチューニングする際によく使われる2つの方法として、教師ありファインチューニング（supervised fine-tuning：SFT）と選好チューニング（preference tuning）を紹介します。これらを活用して、アプリケーションにとってより効果的なモデルにファインチューニングする方法を検討します。

12.1　LLMの3つの学習ステップ：事前学習、教師ありファインチューニング、選好チューニング

高品質なLLMを作るには、次の3つのステップがあります。

1. 言語モデリング最初のステップでは、大量のテキストデータを用いてLLMを事前学習させます（図12-1）。このステップでは、モデルは入力テキストをもとに次のトークンを予測することで、言語的・意味的表現を学習します。「3章　大規模言語モデルの仕組み」や「11章　分類モデルのファインチューニング」で見たように、これは言語モデリングと呼ばれ、自己教師あり学習と呼ばれるタイプの学習方法です。このステップで作られるモデルは、事前学習済みモデルや基盤モデル、ベースモデルと呼ばれます。ベースモデルは基本的な生成能力は備えていますが、そのままではユーザーにとって扱いにくいため、次のステップでさらなる調整が必要です。

   図12-1　言語モデリングでは、LLMは入力テキストをもとに次のトークンを予測することを目的とする。これには人間の用意したラベルを必要としない。この例では、黒字のテキストを入力としたとき、青字の「probability」を予測できるようになることを目指す ...