파이토치로 배우는 LLM & AI

176

1

부

모델 구축

beta

_

1

과

beta

_

2

,

amsgrad

는 기본값을 그대로 사용합니다.

beta

_

1

과

beta

_

2

는

0

~

1

사이여

야 하고 일반적으로 둘 다

1

에 가까운 값을 지정합니다.

amsgrad

는 한 논문

4

에서 소개된

Adam

옵티마이저의 또 다른 구현입니다.

낮은 학습률은 신경망에 큰 영향을 미칩니다. [그림

6

-

4

]는

100

번의 에폭 동안 이 신경망의 정

확도를 보여 줍니다. 낮은 학습률 때문에 처음

10

번의 에폭 동안은 신경망이 학습하지 않는 것

처럼 보입니다. 하지만 그 이후부터 갑자기 빠르게 학습하기 시작합니다.

에폭

훈련 정확도

검증 정확도

정확도

그림

6-4

낮은 학습률을 사용했을 때 정확도

[그림

6

-

5

]에 나타난 손실을 보면 처음 몇 번의 에폭 동안 정확도가 높아지지 않았음에도 손실

이 내려간 것을 볼 수 있습니다. 따라서 에폭별로 보면 신경망이 학습을 시작했다는 것을 확인

할 수 있습니다.

4

Sashank

Reddi

,

Satyen

Kale

,

Sanjiv

Kumar

의 「

On

the

Convergence

of

Adam

and

Beyond

」(

https

://

arxiv

.

org

/

abs

/

1904

.

09237

)

177

6

장

임베딩을 사용한 감성 프로그래밍

에폭

훈련 손실

검증 손실

손실

그림

6-5

낮은 학습률을 사용했을 때 손실

손실 곡선이 [그림

6

-

3

]과 유사한 ...