AI를 위한 필수 수학

191

Chapter 4 -

신경망을 위한 최적화

훈련 데이터 배치마다 이 파라미터들을 변경했다. 이로 인해 손실 함수의 식이 배치마다 조금

씩 변경된다. 그러나 정규화에서 요점은 손실 함수의 수식을 너무 많이 변경하지 않는 것이다.

손실 함수가 너무 많이 변경되면 최솟값의 위치가 변경되어 움직이는 목표를 쫓는 상황이 되기

때문이다. 이제 우리는 훈련 중에 발생할 수 있는 문제들을 배치 정규화로 해결했으니 검증, 테

스트, 예측할 단계이다. 테스트 또는 예측하려는 특정 데이터 포인트에 어떤 평균 벡터와 분산

을 사용해야 할까? 원본 데이터셋에 있는 피처들의 평균과 분산을 사용해야 할까? 이러한 결정

은 우리가 내려야 한다.

4.5.4

페널티

데이터에 과적합되는 것을 막기 위해 훈련 함수를 정규화하는 또 다른 방법은 최소화 문제에

경쟁 항

competing

term

을 도입하는 것이다. 손실 함수만 최소화하는 가중치 집합

w

v

를 구하는 것이

아니라 (

min Lw

w

v

v

Q

V

) 다음과 같이 새로운 항

wa

v

을 추가하여 이를 최소화하는 가중치 집합

w

v

을 구하는 것이다.

min Lw w

w

a

+

vv

v

Q

V

min

m

y wy w

1

w predict true

i

m

1

a

-+

=

2

vv

v

Q

V

/

예를 들어 회귀 문제에서 일반적으로 사용되는 평균 제곱 오차 손실 함수의 경우 최소화 문제

는 다음과