
107
4
장
-
신경망 학습
신경망 학습
이번 장의 주제는 신경망 학습입니다. 여기서
학습
이란 훈련 데이터로부터 가중치 매개변수의
최적값을 자동으로 획득하는 것을 뜻합니다. 이번 장에서는 신경망이 학습할 수 있도록 해주는
지표
인 손실 함수를 소개합니다. 이 손실 함수의 결괏값을 가장 작게 만드는 가중치 매개변수를
찾는 것이 학습의 목표입니다. 이번 장에서는 손실 함수의 값을 가급적 작게 만드는 기법으로,
함수의 기울기를 활용하는 경사법을 소개합니다.
4.1
데이터에서 학습한다!
신경망의 특징은 데이터를 보고 학습할 수 있는 점입니다. 데이터에서 학습한다는 것은 가중치
매개변수의 값을 데이터를 보고 자동으로 결정한다는 뜻이죠. 아주 멋진 소식입니다! 만약 모든
매개변수를 수작업으로 결정해야 한다고 상상해보세요. 생각만 해도 끔찍합니다. 이를테면
2
장
의 퍼셉트론 예에서는 진리표를 보면서 사람이 수작업으로 매개변수 값을 설정했었죠. 하지만
이때는 매개변수가 겨우
3
개였습니다. 자, 그렇다면 실제 신경망에서는 매개변수가 몇 개나 될
까요? 정답은 수천에서 수만입니다. 나아가 층을 깊게 한 딥러닝 정도 되면 그 수는 수억에 이
를 수도 있습니다. 이쯤 되면 (아니 훨씬 전부터 ) 매개변수를 수작업으로 정한다는 것은 아예
불가능하죠. 이번 장에서는 신경망 학습(