AWSではじめる生成AI ―RAGアプリケーション開発から、基盤モデルの微調整、マルチモーダルAI活用までを試して学ぶ

4章メモリーと計算リソースの最適化

3章では、基盤モデルを使って実験してみた上で、ユースケースに合ったモデルを選択するための、ベストプラクティスを探りました。通常、次の段階となるのは、特定の要求とデータセットに合わせてモデルをカスタマイズすることです。そのようなカスタマイズとして、微調整（fine-tuning）と呼ばれるテクニックを使い、データセット向けにモデルを調整することもあります。微調整については、5章で詳しく説明します。大規模な基盤モデルの学習や微調整を行う場合、計算リソース上の課題に直面することがよくあります。特に、大規模モデルをGPUメモリー上にどうやって収めるかという点が問題となります。

この章では、メモリーの制限を克服する助けとなるテクニックを探ります。必要なGPU　RAM（Random Access Memory）容量を最小化するために量子化と分散学習を適用する方法と、大きめのモデル用に、モデルの学習を水平方向にスケールさせ、複数GPUで並列実行する方法を学びます。

例えば、最初の400億（40B）パラメーターFalconモデルは、48個のml.p4d.24xlarge†1のクラスター（384個のNVIDIA A100 GPU、15TBのGPU RAM、55TBのCPU RAMで構成）で学習が行われました。もっと新しいバージョンのFalconは、392個のml.p4d.24xlargeのクラスター（3,136個のNVIDIA A100 GPU、125TBのGPU RAM、450TBのCPU RAMで構成）で学習されました。Falconモデル並みの規模と複雑性ともなると、GPUクラスターを必要とする一方で、（62ページで説明する）量子化も有効な手段です。

[†1] ...