
343
9
장
비지도 학습
식
9-4
q
(
z
)
에서
p
(
z
|
X
)
로의
KL
발산
log
|
log log |
,
log log
log log , log
log log , log
log log , log
log ELBO
log ,
KL q
q
q
q
qq q
q
q
D qp
p
qp
p
q
p
qp p
p
ELBO p
z
zX
z zX
zX
z
X
z zX X
z zX X
X zX z
X
zX
log
q
q
z
실전에서는 다른 기법으로
ELBO
를 최대화합니다.
평균장
변분
추론
mean
field
variational
inference
에서
는
ELBO
식을 계산할 수 있는 형태로 단순화하기 위해 분포 패밀리
q
(
z
;
λ
)
와 사전 확률
p
(
z
)
를 매우 주의 깊게 선택해야 합니다. 아쉽지만 이를 위한 일반적인 방법이 없습니다. 올바른 분
포 패밀리 사전 확률을 선택하는 것은 작업에 따라 다르면 수학적 기술이 필요합니다. 예를 들
어 사이킷런의
BayesianGaussianMixture
클래스에서 사용하는 분포와 하한식은 ...