ゼロから作るDeep Learning ❻ ―LLM編

6章学習応用編

6章では学習の応用編として、より実践的なテクニックを導入し、StoryBotを育てていきます。まずはAdamWや学習率スケジュール、混合精度といった最適化手法を学び、事前学習の効率と性能を改善します。その後、RLHFやDPOの理論を理解し、DPOを実装することで、StoryBotをハッピーエンドの物語を生成するモデルへと進化させます。

6.1　AdamWの仕組み

3章の「学習（基本編）」では、オプティマイザとしてAdamWを使用しました。その際は簡単な紹介にとどめましたが、ここでは「なぜSGDや通常のAdamではなくAdamWを使ったのか」について、その仕組みと理論的な背景を説明します。まずは、SGDからAdamに至るオプティマイザの進化を振り返り、その後でAdamWの登場理由を見ていきましょう。

6.1.1　SGD（確率的勾配降下法）

ディープラーニングの学習は、損失関数の値を最小化するパラメータを探すことを目標とします。最も基本的なSGDは、以下の式でパラメータを更新します。

ここでは学習率、は学習のステップ数、はステップにおける勾配を表します。

SGDはシンプルで計算も高速ですが、すべてのパラメータに同じ学習率を適用するという制約があります。ニューラルネットワークでは層ごとに勾配のスケールが大きく異なることがあり、ある層では学習率が大きすぎて不安定になり、別の層では小さすぎて学習が進まない、という問題が発生しがちです。 ...