AI를 위한 필수 수학

177

Chapter 4 -

신경망을 위한 최적화

데이터셋으로 학습되었다. 우리는 이처럼 엄청나게 많은 미지의 변수들을 해결해야 한다! 병렬

컴퓨팅이나 수학 및 알고리즘 파이프라인에 관해 생각해보자.

미지수가 많은 손실 함수의

2

차 미분 행렬을 계산해야 하는 뉴턴식 최적화 방법을 사용하는 것

은 현재의 강력한 계산 능력을 사용해도 불가능하다. 이는 수치적 방법의 수학 이론이 완벽하

더라도 계산과 구현에 있어서는 비현실적이라는 점을 보여주는 훌륭한 예다. 여기서 아쉬운 부

분은

2

차 미분을 사용하는 수치 최적화 방법이

1

차 미분만 사용하는 방법보다 보통 더 빠르게

수렴한다는 점이다.

1

차 미분은 함수가 증가하거나 감소하는지에 대한 정보만을 사용하지만

2

차 미분은 함수의 오목함 (그릇 모양 )에 대한 추가적인 정보를 활용하기 때문이다. 하지만 더

강력한 컴퓨터가 발명되기 전까지는 미지수

w

에 대한 손실 함수의

1

차 미분만 사용하는 것에

만족해야 한다. 이러한 최적화 방법은 경사 하강법에 해당하며 다행히도 아마존의 알렉사

Alexa

와 같이 현재 많이 사용되는 인공지능 시스템에서 매우 잘 작동하고 있다.

4.4.1

수학과 신경망의 불가사의한 성공

여기서 잠시 멈추고 신경망의 성공에 대해 생각해볼 필요가 있다. 여기서는 신경망의 성공이

손실 함수에 대한 최솟값을 찾는 능력에서 왔다고 해석할 수 있다. 손실 함수

Lw

v

Q

V

를 사용하

여 훈련 함수가 보지 못한 데이터에 대해서도 잘 일반화하도록 만들 수 있다. 필자가 사투리를

쓰더라도 아마존의 ...