AI를 위한 필수 수학

189

Chapter 4 -

신경망을 위한 최적화

93

https://oreil.ly/uvwNf

더 깊이 있는 수학적 탐구를 위해

2015

년 논문 「

Dropout

as

a

Bayesian

Approximation

:

Representing

Model

Uncertainty

in

Deep

Learning

」

93

에서는 드롭아웃과 모델 불확실

성의 베이즈 근사를 연결한다.

4.5.2

조기 종료

훈련 도중, 특히 경사 하강법을 수행해 가중치를 업데이트할 때 각 에포크가 완료된 후에 현재

가중치에서 검증 데이터셋을 활용해 훈련 함수에 의해 만들어진 오차를 계산한다.

이 오차는 훈련 데이터를 학습하면서 감소해야 하지만 일정 에포크 후에 오히려 증가하기 시작

한다. 이는 훈련 함수가 훈련 데이터에 과적합되어 검증 데이터에 대해 일반화하지 못한다는

것을 의미한다. 검증 데이터셋에 대한 모델 예측 오차가 증가하기 시작하면 학습을 중단하고

오차가 증가하기 직전 가중치 집합으로 돌아가야 한다.

4.5.3

배치 정규화

배치 정규화

batch

normalization

의 주요 아이디어는 신경망 각 층의 입력을 정규화하는 것이다. 즉,

각 층의 입력을 평균이

0

이고 분산이

1

이 되도록 만드는 것이다. 이는 일반적으로 각 층의 입

력에서 평균을 빼고 분산으로 나누는 방식으로 수행된다. 이와 관련된 ...