October 2024
Beginner to intermediate
340 pages
7h 38m
Korean
Content preview from 밑바닥부터 시작하는 딥러닝 5
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
Start your free trial
137
5
장
EM 알고리즘
EM
알고리즘에서 로그 가능도의 단조 증가
EM
알고리즘의 중요한 특징으로 항상 다음 식이 성립합니다(증명은
5
.
3
.
4
절 참고 ).
이 식이 의미하는 바는
EM
알고리즘을 갱신하면 로그 가능도는 무조건 단조 증가한다는 것입니
다. 갱신 과정에서 로그 가능도 값이 낮아질 일은 절대로 없다는 뜻입니다.
EM
알고리즘을 계속 갱신하다 보면 로그 가능도가 더 이상 변하지 않는 시점이 찾아옵니다.
갱신을 계속해도 모델의 매개변수가 변하지 않기 때문에
EM
알고리즘의 갱신을 멈추는 시점
이 되죠. 실용적으로는, 임곗값을 설정하고 로그 가능도 변화량의 절댓값이 임곗값 이하로 떨
어지면 갱신 루프를 중단하는 등의 형태로 구현합니다.
*
5.3.3
다수의 데이터로 확장
지금까지는 데이터
1
개가 대상이었습니다. 이번에는
EM
알고리즘을
N
개의 관측 데이터
{
x
(
1
)
,
x
(
2
)
,
f
,
x
(
N
)
}
으로 확장합니다. 각 데이터에 해당하는 임의의 확률 분포를
{
q
(
1
)
,
q
(
2
)
,
f
,
q
(
N
)
}
으로
N
개 준비합니다. 그러면 로그 가능도와
ELBO
의 관계는 다음과 같습니다.
데이터가 하나만 있을 때와 다른 점은 이 붙었다는 것입니다. 남은 일은
ELBO
최적화뿐
인데 다행히도 간단합니다. 왜냐하면 데이터가
1
개일 때 최적의 확률 분포
q
(
z
)
는
p
i
(
z
|
x
)
임