AWSではじめる生成AI ―RAGアプリケーション開発から、基盤モデルの微調整、マルチモーダルAI活用までを試して学ぶ

6章パラメーター効率的微調整

ここまでの章で説明したように、基盤モデルの学習には大量の計算コストを要します。全パラメーター微調整を行ってモデルをドメイン適応させる場合、モデルを格納するメモリーだけでなく、学習の過程で要求される他の様々なパラメーターを格納するメモリーも必要となります。本章で紹介するPEFT（Parameter-Efficient Fine-Tuning：パラメーター効率的微調整）が提供してくれるのは、全パラメーター微調整を行う場合より少ない計算リソースでモデルを微調整できる各種テクニックです。

スケーリングについてのある論文†1では、PEFTのテクニックやカテゴリーとして様々なものが検討されています。各テクニックは、実装はそれぞれ別ですが、大まかに言うと「モデルの元のパラメーターの全てまたは大部分を固定（freeze）しつつ、元のパラメーター数よりはるかに少数のパラメーター群を追加で学習することで、モデル内の層を拡張または置換する」ことが中心となっています。加算（additive）のカテゴリーや再パラメーター化（reparameterization）のカテゴリーに属するテクニックが最もよく使われます。

[†1] Vladislav Lialin et al., “Scaling Down to Scale Up: A Guide to Parameter-Efficient Fine-Tuning”, arXiv, 2023.（https://oreil.ly/QCW4N）

加算テクニック（プロンプト調整†2等）は、微調整や、事前学習が行われたモデルへのパラメーターや層の追加により、モデルを拡張します。LoRAのような再パラメーター化テクニックでは、低ランク表現を使用して調整を行うことで、学習用パラメーターの数や微調整に必要な計算リソースを削減できます。 ...