AI를 위한 필수 수학

195

Chapter 4 -

신경망을 위한 최적화

min Lw w

w

a

+

vv

v

Q

V

화하지는 않는다는 점에 유의하자. 이는 이번 설명에서 손실 함수를 나타낼 때

w

0

v

을 분리하여

,L ww

0

vv

Q

V

으로 쓴 이유다.

4.5.6

정규화 하이퍼파라미터

a

의 역할

가중치 감소 정규화의 최소화 문제는 다음과 같다.

정규화 하이퍼파라미터

a

의 역할을 이해하기 위해 다음 사항을 살펴보자.

●

손실 함수

Lw

v

Q

V

가 훈련 데이터에 맞는

w

를 선택하게 하는 첫째 항과

w

값을 작게 만드는 둘째 항이 경쟁

한다. 이 두 가지 목표가 반드시 일치하는 것은 아니다. 첫째 항을 작게 만드는

w

값이 둘째 항을 크게 만들

수도 있고 반대의 경우도 가능하다.

●

a

가 크면 최소화 과정은 첫 번째 항이 얼마나 작게 만드는지 여부와 상관없이

w

값을 매우 작게 만들어 보

정한다. 따라서

a

가 커질수록 첫 번째 항보다 두 번째 항을 최소화하는 것이 더 중요해진다. 최종 모델이 데

이터에 완벽하게 맞지 않을 수는 있지만 (높은 편향), 본 적 없는 데이터에 더욱 잘 일반화하기 위해 때로는

큰

a

가 바람직할 수도 있다(낮은 분산 ).

●

a

가 작으면(예를 들어

0

에 가깝다면 ) 더 큰

w

값을 선택할 수 있으며 첫 번째 항을 최소화하는 것이 더 중

요해진다. 이 경우 최소화 과정을 통해 첫 번째 항을 ...