파이토치로 배우는 LLM & AI

284

1

부

모델 구축

10.4

학습률 튜닝하기

이전 예제에서 모델을 다음과 같은 옵티마이저로 컴파일했습니다.

optimizer = optim.Adam(model.parameters())

여기서 학습률을 명시적으로 지정하지 않았지만 모델이 사용하는 기본 학습률은

1

×

10

-

3

입

니다. 하지만 이는 정말 임의로 정한 숫자입니다. 이를 바꾸면 어떻게 될까요? 어떻게 바꿔야

할까요? 최상의 학습률을 찾으려면 많은 실험이 필요합니다.

이를 실험하는 한 가지 방법은

torch

.

optim

.

lr

_

scheduler

를 사용하는 것입니다. 이를 통해

모델이 훈련되는 동안 에폭마다 동적으로 학습률을 변경할 수 있습니다.

높은 학습률로 시작한 다음 신경망이 학습함에 따라 점차적으로 줄이는 것이 좋습니다. 예를

들면 다음과 같습니다.

optimizer = optim.Adam(model.parameters(), lr=0.01)

위 코드에서 학습률을

1e

–

2

로 시작하는데, 이는 매우 높은 값입니다. 하지만 스케줄러를 설

정해

n

번의 에폭마다 학습률에 감마

gamma

값을 곱할 수 있습니다. 예를 들어 다음 코드는

30

에폭마다 학습률을 변경합니다.

0

.

01

로 시작해

30

번째 에폭 후에는 학습률에

0

.

1

을 곱하여

0

.

001

이 됩니다. 그다음

60

번째 에폭 후에는

0

.

0001

이 되는 식입니다. ...