밑바닥부터 시작하는 딥러닝

112

밑바닥부터 시작하는 딥러닝

근거로 ‘최적의 인생’을 탐색하듯, 신경망도 ‘하나의 지표’를 기준으로 최적의 매개변수 값을 탐

색합니다. 신경망 학습에서 사용하는 지표는

손실 함수

loss

function

*

라고 합니다. 이 손실 함수는 임

의의 함수를 사용할 수도 있지만 일반적으로는 평균 제곱 오차와 교차 엔트로피 오차를 사용합

니다.

WARNING

_ 손실 함수는 신경망 성능의 ‘나쁨’을 나타내는 지표로, 현재의 신경망이 훈련 데이터를 얼마

나 잘 처리하지 ‘못’하느냐를 나타냅니다. ‘성능 나쁨’을 지표로 한다니 무언가 부자연스럽다고 생각할지 모르

지만, 손실 함수에 마이너스만 곱하면 ‘얼마나 나쁘지 않나’, 즉 ‘얼마나 좋으냐’라는 지표로 변신하죠. 또, ‘나

쁨을 최소로 하는 것’과 ‘좋음을 최대로 하는 것’은 결국 같은 것이니까, 성능의 ‘나쁨’과 ‘좋음’ 중 어느 쪽을 지

표로 삼아도 본질적으로 수행하는 일은 다르지 않습니다.

4.2.1

평균 제곱 오차

가장 많이 쓰이는 손실 함수는

평균 제곱 오차

mean

squared

error

,

MSE

입니다. 평균 제곱 오차는 수식으

로는 다음과 같습니다.

yt

()

2

1

k

kk

2

E

=-

|

[식 4.1 ]

여기서

y

k

는 신경망의 출력 (신경망이 추정한 값),

t

k

는 정답 레이블,

k

는 데이터의 차원 수를

나타냅니다. 이를테면 ...