AI를 위한 필수 수학

343

Chapter 8 -

확률적 생성 모델

분할 함수가 처리하기 어려운 경우에는 확률적 최대 가능도 방법

stochastic

maximum

likelihood

과 대조

적 발산

contrastive

divergence

방법 같은 근사 방법을 사용해야 한다. 다른 방법들은 분할 함수에 대

한 지식 없이 조건부 확률을 계산하는 방식이다. 이 방법들은 분할 함수를 근사하는 과정을 피

하면서 조건부 확률을 계산한다. 이 방법은 조건부 확률의 비율 정의

207

와 에너지 기반 결합

확률 분포의 정의에 있는 비율을 이용하여 효과적으로 분할 함수를 근사해 상쇄한다. 이러한

방법으로는 스코어 매칭

score

matching

, 비율 매칭

ratio

matching

, 노이즈 제거 스코어 매칭

denoising

score

matching

등이 있다.

노이즈 대비 추정

noise

contrastive

estimation

, 어닐링 중요도 샘플링

annealed

importance

sampling

, 브리지 샘플

링

bridge

sampling

및 이를 조합한 방법들은 그 기울기의 로그가 아닌 분할 함수를 직접 근사한다.

여기서는 이러한 방법들에 대해 자세히 설명하지 않지만, 관심이 있다면 이안 굿펠로의 『심층

학습』 (제이펍,

2018

)을 참고하기 바란다.

다시 홈필드 네트워크와 볼츠만 머신으로 돌아가보자. ...