AI를 위한 필수 수학

328

AI

를 위한 필수 수학

적 함수다. 우리는 신경망과 그 출력을 우리가 조정할 수 있는 파라미터를 가진 확률 분포로 볼

수 있다. 훈련이 진행됨에 따라 출력이 훈련 데이터의 경험적 분포와 허용 가능한 범위 내에서

일치할 때까지 파라미터가 조정된다. 따라서 확률 분포에 결정론적 함수를 적용하고 훈련 데이

터의 분포와 정확히 일치할 때까지 함수의 파라미터를 조정하지 않는다. 그 대신 많은 파라미

터(신경망의 파라미터)가 포함된 확률 분포에 대한 명시적인 공식으로 시작하여 이 명시적 확

률 분포가 학습 데이터와 합리적으로 일치할 때까지 파라미터를 조정한다. 각 원소에 해당하는

조건부 확률 분포에 대해 이 작업이 반복적으로 수행된다.

8.7

명시적 밀도 - 추적 가능: 변수 변환 및 비선형 독립 성분 분석

주요 아이디어는 관찰된 훈련 데이터

x

v

를 나타내는 확률 변수를 가지고 있으며 이를 생성한 원

본 확률 변수

s

v

를 학습하는 것이다. 우리는 이 부분에서 미지수인

s

v

를 관찰된

x

v

로 변환하는 가

역적이고 미분 가능한 결정론적 변환

gs x=

v

v

Q

V

가 존재한다고 가정한다. 즉,

sgx

1

=

-

v

v

Q

V

다.

이제

s

v

의 확률 분포를 찾기 위해 적절한

g

를 찾아야 한다. 또한

s

v

는 독립적인 원소나 구성 요소

를 가지고 있다고 가정하므로, 확률 분포는 구성 요소들의