밑바닥부터 시작하는 딥러닝

111

4

장

-

신경망 학습

훈련 데이터와 시험 데이터를 나눠야 할까요? 그것은 우리가 범용적으로 사용할 수 있는 모델

을 원하기 때문입니다. 이

범용 능력

을 제대로 평가하기 위해 훈련 데이터와

시험 데이터

를 분리

하는 것이죠.

범용 능력은 아직 보지 못한 데이터 (훈련 데이터에 포함되지 않는 데이터 )로도 문제를 올바르

게 풀어내는 능력입니다. 이 범용 능력을 획득하는 것이 기계학습의 최종 목표고 말이죠. 예를

들어 손글씨 숫자 인식의 최종 결과는 엽서에서 우편 번호를 자동으로 판독하는 시스템에 쓰일

지도 모릅니다. 그렇다면 손글씨 숫자 인식은 ‘누군가’가 쓴 글자를 인식하는 능력이 높지 않으

면 안 됩니다. 그 누군가는 ‘특정인의 특정 글자’가 아니라 ‘임의의 사람의 임의의 글자’입니다.

만약 수중에 있는 훈련 데이터만 잘 판별한다면 그 데이터에 포함된 사람의 글씨체만 학습했을

가능성이 있습니다.

그래서 데이터셋 하나로만 매개변수의 학습과 평가를 수행하면 올바른 평가가 될 수 없습니다.

수중의 데이터셋은 제대로 맞히더라도 다른 데이터셋에는 엉망인 일도 벌어집니다. 참고로 한

데이터셋에만 지나치게 최적화된 상태를

오버피팅

overfitting

*

이라고 합니다. 오버피팅 피하기는 기

계학습의 중요한 과제이기도 합니다.

4.2

손실 함수

사람들에게 “지금 얼마나 행복하나요?”라고 ...