LLMOps ―本番環境における大規模言語モデル運用ガイド

5章LLMベースアプリケーション向けモデルドメイン適応

前章ではモデルの構築と運用のためのさまざまなアーキテクチャについて説明しました。この章では、モデルをどのようにドメイン適応させるかを扱います。現場では「ドメイン適応」を「ファインチューニング」と呼ぶことがよくありますが、ファインチューニングはモデルを自分たちのドメインでしっかり機能させるための手段の1つに過ぎません。

この章では、プロンプトエンジニアリング、ファインチューニング、そして検索拡張生成（RAG：Retrieval-Augmented Generation）といった複数のモデル適応手法を順番に見ていきます。

また、モデルを圧縮しなければならないようなリソース制約の大きい環境でLLMを動かすための最適化方法についても取り上げます。最後に、ベストプラクティスとスケーリング則を通じて、LLMを効果的に動かすにはどれくらいのデータが必要なのかを判断する方法をご紹介します。

5.1　LLMをゼロからトレーニングする

LLMをゼロからトレーニングする大変さはアプリケーションによって異なり、簡単に済むこともあれば大量のリソースを要する場合もあります。ほとんどのアプリケーションでは既存のオープンソースLLMやプロプライエタリLLMを使うほうが賢明です。一方で、LLMの仕組みを学ぶ最良の方法は、自分でゼロからトレーニングしてみることです。

LLMをゼロからトレーニングするのは、データの準備、モデルアーキテクチャの選定、トレーニングとその設定、監視を含む包括的なパイプラインを必要とする非常に複雑でリソース集約的な作業です。ここでは、ゼロからLLMをトレーニングするための体系的な進め方を順番に確認していきます。

5.1.1　ステップ1：タスク選定 ...