仕組みからわかる大規模言語モデル 生成AI時代のソフトウェア開発入門

2.1.3

データセットの分割と役割

機械学習の目的は、モデルがデータセットから学習した知識を用いて、未知のデータに対し

ても良好な性能を発揮できるようにパラメータを調整することです。この能力を汎化性能と呼

びます。機械学習では、汎化性能を評価するためにデータセットを訓練データ、検証データ、

テストデータの三つに分割します。

それぞれのデータセットの役割は次のとおりです。

⿟

訓練データ：モデルのパラメータを学習するために使用されるデータです。モデルは訓練

データを用いて、損失関数を最小化するようにパラメータを更新します。

⿟

検証データ：ハイパーパラメータの調整や、モデルの選択に使用されるデータです。複数

のモデルや、ハイパーパラメータの組み合わせを試し、検証データに対する性能が最も高

いモデルやハイパーパラメータを選択します。

⿟

テストデータ：モデルの汎化性能を評価するために使用されるデータです。モデルの学習

や選択には一切使用されません。

ハイパーパラメータとは、モデルの構造や学習アルゴリズムを制御するパラメータで、通常

は手動で設定されます。これらのパラメータは、訓練データから学習されるパラメータ（重み

とバイアス）と区別してハイパーパラメータと呼ばれています。例えば、Transformer のデ

コーダスタックの数、マルチヘッド注意機構のヘッド数、埋め込みベクトルの次元数など

（1.3参照）に加えて、本章で扱う学習率やバッチサイズなど、学習時の設定もハイパーパラ

メータに含まれます。ハイパーパラメータの評価は、モデルを訓練データで学習させた後に ...