밑바닥부터 시작하는 딥러닝

146

밑바닥부터 시작하는 딥러닝

4.6

정리

이번 장에서는 신경망 학습에 대해서 설명했습니다. 가장 먼저 신경망이 학습을 수행할 수 있

도록 손실 함수라는 ‘지표’를 도입했습니다. 이 손실 함수를 기준으로 그 값이 가장 작아지는 가

중치 매개변수 값을 찾아내는 것이 신경망 학습의 목표입니다. 또, 가능한 한 작은 손실 함수

의 값을 찾는 수법으로 경사법을 소개했습니다. 경사법은 함수의 기울기를 이용하는 방법입

니다.

이번 장에서 배운 것

●

기계학습에서 사용하는 데이터셋은 훈련 데이터와 시험 데이터로 나눠 사용한다.

●

훈련 데이터에서 학습한 모델의 범용 능력을 시험 데이터로 평가한다.

●

신경망 학습은 손실 함수를 지표로, 손실 함수의 값이 작아지는 방향으로 가중치 매개변수를 갱신한다.

●

가중치 매개변수를 갱신할 때는 가중치 매개변수의 기울기를 이용하고, 기울어진 방향으로 가중치의 값을

갱신하는 작업을 반복한다.

●

아주 작은 값을 주었을 때의 차분으로 미분을 구하는 것을 수치 미분이라고 한다.

●

수치 미분을 이용해 가중치 매개변수의 기울기를 구할 수 있다.

●

수치 미분을 이용한 계산에는 시간이 걸리지만, 그 구현은 간단하다. 한편, 다음 장에서 구현하는 다소 복잡

한 오차역전파법은 기울기를 고속으로 구할 수 있다.