October 2024
Beginner to intermediate
340 pages
7h 38m
Korean
Content preview from 밑바닥부터 시작하는 딥러닝 5
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
Start your free trial
134
밑바닥부터 시작하는 딥러닝 5
5.3.2
드디어
EM
알고리즘으로
[식
5
.
6
]의
ELBO
(
x
;
q
,
i
)
에는
q
(
z
)
와
i
라는 두 개의 매개변수가 있습니다. 이 매개변수들을
최적화해야 합니다(즉,
ELBO
를 최대로 만드는 두 매개변수의 값을 찾아야 합니다 ). 단, 둘을
한꺼번에 최적화하기는 어려우므로 한쪽을 고정하고 다른 매개변수를 최적화하는 작업을 반복
합니다.
i
를 고정하고
q
(
z
)
를 갱신한 다음, 이어서
q
(
z
)
를 고정하고
i
를 갱신하는 식입니다. 이
러한 작업을 반복하면 최적의 값에 가까워질 수 있습니다.
먼저
i
를 현재 값으로 고정하고(여기서는
i
=
i
old
로)
q
(
z
)
의 최적화에 집중합니다.
q
(
z
)
는
z
에 대한 임의의 확률 분포입니다.
q
(
z
)
가 어떠한 확률 분포더라도
log
p
i
(
x
) $
ELBO
(
x
;
q
,
i
)
가 성립합니다. 다만
ELBO
(
x
;
q
,
i
)
가
log
p
i
(
x
)
에 얼마나 가까운지는
q
(
z
)
의 분포에 따라 달
라집니다. 물론
ELBO
(
x
;
q
,
i
)
가
log
p
i
(
x
)
에 최대한 가까워야 합니다. 이때 다음 식이 도움
됩니다.
[식 5.7]
[식
5
.
7
]의 좌변
log
p
i
(
x
)
에는
q
(
z
)
가 등장하지 않는다는 점에 주목합시다. 핵심은
q
(
z
)
에 관
계없이
ELBO
항과
KL
(발산 ) 항의 합이 일정하다는 사실입니다