AI를 위한 필수 수학

416

AI

를 위한 필수 수학

지금 당면한 문제의 유형에 따라 이러한 질문에 바로 답할 수 있는 경우도 있고, 일부 질문에만

답할 수 있는 경우도 있을 것이다. 하지만 최적화 도구와 최적값에 대한 정보는 모두 가치가 있

기 때문에 어떤 경우라도 괜찮다.

이제 일반적인 유형의 최적화 문제를 좀 더 자세히 살펴보자.

10.4.1

최적화: 유한한 차원과 제약 조건이 없는 경우

미적분학 수업에서 최적화나 머신러닝 모델을 학습할 때 손실 함수를 최소화하는 최적화와 유

사하다. 목적 함수

fx

v

Q

V

는 미분 가능하다.

min fx

x R

d

!

v

Q

V

제약이 없고 미분 가능한 최적화에서 최솟값을 만드는

x

)

v

는

fx 0d =

v

Q

V

을 만족한다. 또한 헤시

안 행렬 (

2

차 미분 행렬 )은

x

)

v

에서 양의 준정부호다. 머신러닝을 위한 최적화를 논의할 때 우리

는 매우 고차원의 문제들에 대해 확률적 경사 하강법과 그 변형들을 사용하기로 했다. 더 작은

문제의 경우 뉴턴형(

1

차 미분뿐만 아니라

2

차 미분까지 다룸) 방법들도 잘 작동한다. 선형 회

귀에서 평균 제곱 오차 손실 함수와 같은 극히 일부 문제의 경우 해석 해를 구할 수도 있다. 해

석 해를 구할 수 있는 예제는 일반적으로 미적분학 책에 있는 예제처럼 신중하게 구성된 문제

이거나 또는 그 문제가 다루는 차원이 매우 낮은 경우다.

10.4.2

최적화: 유한한 차원과 라그랑주 승수의 제약 조건

제약 조건이

gx b=

v

v

Q

V

b

하나만 있는 경우를 생각해보자. 이 경우 최소화 문제는 다음과 같다.

min

xbg =

v

Q

V

x