仕組みからわかる大規模言語モデル 生成AI時代のソフトウェア開発入門

2

g

m

L

m m g

v v g

m

m

v

v

t

v

m

1

1

1

1

1

1

t i

i

m

t t

t

t t

t

t

t

t

t

t

t

t

t

t

1

1 1 1

2 1 2

2

1

2

|

|

|

|

|

|

d i

b b

b b

b

b

i i a

e

-

-

-

-

-

i

=

-

-

]

]

] g

g

g

X

V

V

X

!

ここで、

m

はミニバッチのサイズ、

g

t

はミニバッチ内の勾配の平均、

m

t

は勾配の一次モー

メント（平均）の推定値、

v

t

は勾配の二次モーメント（分散）の推定値、

b

1

は一次モーメントの

減衰率を制御するハイパーパラメータ、

b

2

は二次モーメントの減衰率を制御するハイパーパ

ラメータ、

m

t

X

はバイアス補正後の一次モーメントの推定値、

v

t

V

はバイアス補正後の二次モー

メントの推定値、

e

はゼロ除算を防ぐための小さな定数、

a

は学習率を表すハイパーパラメー

タを表します。

Adamは現在、深層学習の分野で最もよく使われている最適化手法の一つです。

2.5.5

パラメータの初期化

指示チューニングやRLHFでは、前のステップで学習したパラメータを初期値として使用

します。一方、事前学習では、パラメータに初期値を設定する必要があります。学習の初期段

階でパラメータがどのように初期化されるかは、学習の効率や性能に大きな影響を与えます。

適切な初期化は、2.7で紹介する勾配消失や勾配爆発を防ぎ、効率的な学習を促進します。

主な初期化方法を紹介します。

Xavier初期化（Glorot初期化）

Xavier初期化 [Glorot et al. 2010] は、活性化関数が tanhや sigmoid の場合に適しています。