AI를 위한 필수 수학

113

Chapter 3 -

데이터에 함수를 최적화시키는 방법

3.3.3

최적화

최적화란 최적, 최고, 최대, 최소 또는 극단적인 해결 방법을 찾는 것을 의미한다.

우리는 다음과 같은 선형 훈련 함수를 작성했다.

y

=

w

0

+

w

1

x

1

+

w

2

x

2

+

w

3

x

3

+

w

4

x

4

+

w

5

x

5

우리는 아직

6

개의 파라미터 (가중치 )

w

0

,

w

1

,

w

2

,

w

3

,

w

4

,

w

5

를 모르는 상태다. 목표는 훈련

데이터셋에 가장 적합한 훈련 함수를 찾는 것이다. 손실 함수는 모델의 훈련 함수를 통해 예측

된 값이 실제 값과 얼마나 차이가 나는지 측정한다. 우리는 이 차이가 작아지길 원하므로 최소

화 문제를 풀어야 하는 것이다.

손실이 가장 작은 조합을 찾을 때까지 가능한 모든

w

값을 시도해보지는 않을 것이다. 시도한

조합 중 가장 작은 손실 값보다 더 나은(작은 ) 손실 값이 있는지 알 수 없으므로 언제 이러한

시도를 멈춰야 할지 모르기 때문이다. 따라서 손실 함수의 형태에 관한 사전 지식이 있어야 하

며 그 수학적 특성을 활용해야 한다. 이는 눈을 가린 채 스위스 알프스 산맥을 하이킹하는 것과

눈을 뜨고 상세한 지도를 보면서 하이킹하는 것으로 비유할 수 있다(스위스 알프스 산맥은 [그

림

3

-

7

]과 같이 지형이 매우 험난하다. )

그림

3-7

스위스 알프스 산맥. 최적화는 ...