fastai와 파이토치가 만나 꽃피운 딥러닝

607

16



학습 과정

로 작성해 짜 맞출 수 있는 콜백 시스템을 설계했습니다.

16.7



때로는 전체 작동의 일부에 변화를 줘야 합니다. 실은 믹스업,

fp16

학습,

RNN

학습에서 매

에포크 후 모델 재설정 등에서 이런 상황을 이미 경험했습니다. 어떻게 하면 이런 변화를 학습

과정에 적용할 수 있을까요?

다음은

Optimizer

클래스를 활용한 기본 학습 루프의 한 에포크에 해당하는 코드입니다.

for xb,yb in dl:

loss = loss_func(model(xb), yb)

loss.backward()

opt.step()

opt.zero_grad()

이 코드를 그림으로 표현하면 [그림

16

-

3

]과 같습니다.

모델

그레이디언트

계산

가중치 갱신

단계

손실 측정

학습용 데이터

그림

16-3

학습 루프의 기본 골격

608

3



딥러닝의 기반 지식

딥러닝 실무자들은 일반적으로 다음과 같이 사용자 정의 학습 루프를 만듭니다. 기존의 학습

루프를 복사한 다음, 변화가 필요한 특정 부분에 코드를 삽입하죠. 온라인에서 찾아볼 수 있는

거의 모든 코드가 이런 식으로 구성됩니다. 하지만 여기에는