実践 LLMアプリケーション開発 ―プロトタイプを脱却し、実用的な実装に迫るための包括的な手引き

7章高度なファインチューニング手法

　前章では、一般的なLLMをファインチューニング（Fine-Tuning、微調整）するための方法について紹介しました。しかし、現実の世界では、LLMの重みを更新したい理由は実にさまざまであり、それに応じて更新方法にも多様なアプローチがあります。この章では、そうした場面に対応するための高度なファインチューニング手法について解説し、それぞれの手法がどのような場面に適しているかについても取り上げていきます。

　なぜ、LLMの重みを更新したいのでしょうか？　前章でも簡単に触れましたが、ここではもう少し詳しく見ていきます。

ドメイン適応（Domain Adaptation）

あなたが使用するデータが特定のドメインに特化している場合、LLMは事前学習時に見ていない可能性があります。このようなケースでは、ドメイン固有のデータを使ってLLMを訓練して、適応させる必要があります。

タスク適応（Task Adaptation）

LLMが特定の下流タスクでどれだけうまく動作するかに関心がある場合、タスク固有のデータで訓練を行うことで精度を高めることができます。なお、このアプローチは教師あり・教師なしのどちらでも実施可能です。

知識の更新（Knowledge Updating）

モデルの知識を常に最新の状態に保ちたい場合、新しいデータでモデルを訓練することができます。

制御性／追従性（Controllability / Steerability）

LLMが自然言語で書かれた指示により忠実に従うようにしたい、あるいは特定のリクエストを拒否するようにしたいといったニーズがあります。こうしたモデルの振る舞いを調整するための訓練方法は、アライメント（Alignment ...