AI를 위한 필수 수학

323

Chapter 8 -

확률적 생성 모델

;arg min divergence p x p x

modoptimal KL data el

ii

=

i

v

t

vv

v

v

R

Q

R

V

W

W

이 시점에서 사실상 수학적으로 동일한 세 가지 최적화 문제 사이에서 혼란이 생길 수 있다. 이

는 각 최적화 문제가 수학, 통계, 자연 과학, 컴퓨터 과학이라는 세부 분야에서 독립적으로 발

전했기 때문이다.

●

훈련 데이터셋의 로그 가능도 최대화

●

훈련 데이터셋의 경험적 분포와 모델 분포 사이의

KL

발산 최소화

●

소프트맥스 함수와 합성하여 여러 클래스로 분류할 때 훈련 데이터셋 레이블과 모델 출력 사이의 교차 엔트

로피 손실 함수 최소화

혼동하지 말자.

KL

발산을 최소화하는 파라미터는 교차 엔트로피와 음의 로그 가능도를 최소

화하는 파라미터와 동일하다.

8.5

명시적 밀도 모델과 암시적 밀도 모델

최대 로그 가능도 추정 (또는 최소

KL

발산 )의 목표는 데이터 샘플을 가장 잘 설명하는 확률 분

포

;xp

model

i

v

v

R

W

를 찾는 것이다. 생성 모델은 여기서 학습된

;xp

model

i

v

v

R

W

를 사용하여 새로운 데

이터를 생성한다. 여기에는 두 가지 접근법이 있는데, 하나는 명시적이고 다른 하나는 암시적

이다.

명시적 밀도 모델

explicit

density

model

확률 분포의 공식을

x

v

와

i

v

에 대해