밑바닥부터 시작하는 딥러닝

143

4

장

-

신경망 학습

[그림

4

-

11

]을 보면 학습 횟수가 늘어가면서 손실 함수의 값이 줄어듭니다. 이는 학습이 잘

되고 있다는 뜻으로, 신경망의 가중치 매개변수가 서서히 데이터에 적응하고 있음을 의미합니

다. 바로 신경망이 학습하고 있는 것이죠. 다시 말해 데이터를 반복해서 학습함으로써 최적 가

중치 매개변수로 서서히 다가서고 있습니다!

4.5.3

시험 데이터로 평가하기

[그림

4

-

11

]의 결과에서 학습을 반복함으로써 손실 함수의 값이 서서히 내려가는 것을 확인

하셨나요? 이때의 손실 함수의 값이란, 정확히는 ‘훈련 데이터의 미니배치에 대한 손실 함수’의

값입니다. 훈련 데이터의 손실 함수 값이 작아지는 것은 신경망이 잘 학습하고 있다는 방증이

지만, 이 결과만으로는 다른 데이터셋에도 비슷한 실력을 발휘할지는 확실하지 않습니다.

신경망 학습에서는 훈련 데이터 외의 데이터를 올바르게 인식하는지를 확인해야 합니다. 다

른 말로 ‘오버피팅’을 일으키지 않는지 확인해야 합니다. 오버피팅되었다는 것은, 예를 들어 훈

련 데이터에 포함된 이미지만 제대로 구분하고, 그렇지 않은 이미지는 식별할 수 없다는 뜻입

니다.

신경망 학습의 원래 목표는 범용적인 능력을 익히는 것입니다. 범용 능력을 평가하려면 훈련

데이터에 포함되지 않은 데이터를 사용해 평가해봐야 하겠죠? 이를 ...