直感 LLM ―ハンズオンで動かして学ぶ大規模言語モデル入門

11章分類モデルのファインチューニング

「4章　テキスト分類」では、事前学習済みモデルを用いてテキストを分類しました。その際、事前学習済みモデルには手を加えず、そのまま使用することで基本的な分類タスクを解きました。では、このモデルをファインチューニングしたらどうなるのでしょうか。

十分なデータがある場合、ファインチューニングをすることで、モデルの性能をさらに引き出せる可能性があります。ファインチューニングは、事前学習済みモデルに特定のタスク向けの追加学習を施すプロセスで、タスクに特化した性能の向上が期待されます。本章では、BERTをファインチューニングするためのさまざまな方法や活用例を紹介します。

まず、「11.1　教師あり分類」では、分類モデルをファインチューニングする基本的な手順について説明します。その次に、「11.2　Few-shot分類」では、学習用データが少ない場合でも、高い性能を発揮できるSetFitという手法について紹介します。また、「11.3　マスク言語モデリングによる継続事前学習」では、事前学習済みモデルに対して追加で学習する方法を解説します。最後に、「11.4　固有表現認識」では、トークン単位での分類について取り上げます。

なお、本章ではテキスト生成を行うモデルについては扱いません。それについては「12章　生成モデルのファインチューニング」で扱うので、楽しみにしていてください。

11.1　教師あり分類

「4章　テキスト分類」では、事前学習済みモデルを用いた教師あり分類について学びました。4章では、図11-1のような2種類のモデルを使用しました。1つは感情を予測するために学習された表現モデル（タスク固有モデル）、もう1つは埋め込みを生成するために学習された表現モデル（埋め込みモデル）です。 ...