AI를 위한 필수 수학

173

Chapter 4 -

신경망을 위한 최적화

이전에 유리수를 사용해서 무리수에 근사시킬 때 설명한 것과 동일한 원리가 여기에도 적용된

다. 이 정리는 연속 함수에 가까운 다항식을 항상 찾을 수 있다고 주장한다. 이는 다항식의 집

합이 구간 [

a

,

b

]에 대해 연속 함수 공간에서 밀도가 높다는 것을 의미한다. 다르게 표현하면 어

떤 연속 함수

f

에 대해

f

에 수렴하는 다항식 함수로 구성된 수열을 찾을 수 있다는 것을 의미한

다(따라서

f

는 그 수열의 극한이다 ). 그리고 이러한 명제에서 거리를 의미하는 값은 상한 노름

으로 계산된다. [그림

4

-

6

]에서 연속 함수

sin

x

가

,

!

,

!!

,xx

x

x

xx

3 35

3 35

g- -+

G

J

수열의 극한

임을 확인할 수 있다.

그림

4-6

다항식 수열을 사용하여 연속 함수

sin

x

에 근사시키는 과정을 보여준다.

174

AI

를 위한 필수 수학

신경망에 대한 범용 근사 정리

근사법의 원리를 이해했으니 이제 신경망에 대한 가장 최근의 근사 정리를 살펴보자.

신경망은 훈련 함수를 계산 그래프로 표현한 것이라는 점을 유념하자. 우리는 훈련 함수가 데

이터를 생성하는 ...