AI를 위한 필수 수학

180

AI

를 위한 필수 수학

각화할 수 있지만 세 개 이상의

w

에 의존하는 손실 함수

L

(

w

1

,

w

2

,

w

3

)를 시각화할 수 없다. 고

차원 공간에서 움직이는 손실 함수를 시각화할 수 없는 심각한 한계에도 불구하고 [그림

4

-

7

]

은 경사 하강법이 일반적으로 어떻게 함수에 적용되는지 정확하게 묘사한다. 검색은 두 차원

(

w

1

,

w

2

) 평면 ([그림

4

-

7

]의 평평한 바닥 )에서 일어나며 우리는

R

3

에 존재하는 함수

L

(

w

1

,

w

2

)

의 표면에서 검색 상황을 추적한다. 검색 공간은 항상 손실 함수의 표면이 존재하는 공간의 차

원보다 한 차원 작다. 이는 표면이 평평하거나 찌그러진 상황에서 최적화를 진행하기 때문에

최적화 과정을 더 어렵게 만든다.

그림

4-7

두 개의 경사 하강 과정을 보여주는 그림. 솟아오른 산의 반대편에서 시작한다면 최솟값에 수렴하기 어렵다

(수렴하지 않을 수도 있다). 따라서 볼록하지 않은 함수의 최솟값을 구할 때는

w

가 어디서 시작되는지가 매우 중요하다.

4.4.3

학습률 하이퍼파라미터

h

의 역할

경사 하강법

w w Lw

ii i

1

d

h

=-

+

vv v

Q

V

는 각 반복마다 검색 공간에 있는 현재

w

i

v

를

w

i 1+

v

로 이동시

킨다.

w

i

v

에

Lw

i

dh-

v

Q

V

를 더하여

w

i 1+

v

을 만드는데,

Lw

i

dh-

v

Q

V

는 스칼라 값인

h

에 음의 기울

181

Chapter ...