October 2024
Beginner to intermediate
340 pages
7h 38m
Korean
Content preview from 밑바닥부터 시작하는 딥러닝 5
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
Start your free trial
132
밑바닥부터 시작하는 딥러닝 5
을 곱한다.
의 안으로를
[식
5
.
4
] 대입
KL
발산
핵심은 먼저 에 을 곱하는 것입니다.
q
(
z
)
는 확률 분포이므로
이 성립합니다. 이후 식 전개는 앞에서와 같습니다. 드디어 두 번째 항을
KL
발산으로 표
현할 수 있게 되었습니다. 이 [식
5
.
5
]가
EM
알고리즘을 유도하는 식이 됩니다.
5.3
EM
알고리즘 도출 ②
지금까지 얻은 식은 다음과 같습니다.
[식 5.5]
이번 절에서는 이 식에 대해 계속해서 더 살펴보겠습니다.
5.3.1
ELBO
(증거 하한)
먼저 [식
5
.
5
]의
KL
발산 부분에 주목해봅시다.
q
(
z
)
는 임의의 확률 분포입니다. 그런데 어떤
확률 분포를 사용하더라도
KL
발산은 항상
0
이상입니다. 그러므로 다음 식을 얻을 수 있습
[식 5.5]
133
5
장
EM 알고리즘
니다.
KL
발산의 특성 덕에 이처럼 [식
5
.
5
]의 첫 번째 항은 항상 로그 가능도 이하가 됩니다. 그래서
이 항을
ELBO
라고 합니다.
ELBO
는 ‘
Evidence
Lower
BOund
’의 약자이며 우리말로 ‘증거
하한’으로 번역합니다.
NOTE_
증거 하한 ...