fastai와 파이토치가 만나 꽃피운 딥러닝

268

2



fastai 애플리케이션 계층 이해하기

TIP



교차 엔트로피 손실의 흥미로운 특징은 그레이디언트를 고려할 때 나타납니다.

cross

_

entropy

(

a

,

b

)

의 그

레이디언트는

softmax

(

a

)-

b

입니다.

softmax

(

a

)

는 모델의 최종 활성이므로 그레이디언트가 예측과 타깃

간의 차이에 비례함을 의미합니다. 이것은

(

a

-

b

)**

2

의 그레이디언트가

2

*(

a

-

b

)

인 회귀의 평균 제곱 오차와

같은 의미죠(최종 활성화 함수에

y

_

range

등에 의한 덧셈이 없다고 가정합니다). 그레이디언트가 선형이기 때

문에 갑작스러운 점프나 기하급수적인 증가가 없어서 모델은 더 원활히 학습될 수 있습니다.

이제 손실 함수 뒤편에 숨겨진 조각을 모두 살펴봤습니다. 그러나 손실은 모델이 학습을 잘하

고 있는지 (또는 못하고 있는지 )를 나타내는 숫자를 부여할 뿐, 이 정보만으로는 모델의 좋고

나쁨을 파악할 수 없습니다. 그러면 이번에는 모델의 예측을 해석하는 몇 가지 방법을 알아봅

시다.

5.4



사람이 손실 함수를 즉시 해석하기란 매우 어렵습니다. 손실 함수는 사람이 보려고 만든 것이

아니라 컴퓨터가 미분을 구하고 최적화할 수 있도록 설계되었기 때문이죠. 바로 평가지표가 필

요한 이유기도 하죠. 평가지표는 최적화에 사용되지 않고 단지 무슨 일이