October 2024
Beginner to intermediate
340 pages
7h 38m
Korean
Content preview from 밑바닥부터 시작하는 딥러닝 5
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
Start your free trial
121
5
장
EM 알고리즘
이번 장의 주제는
EM
알고리즘
[
6
]
입니다.
EM
은
Expectation
-
Maximization
의 약자로, 우
리말로는 기댓값 최대화 알고리즘이라고 합니다. 이 알고리즘을 이용하면 가우스 혼합 모델의
매개변수를 효율적으로 추정할 수 있습니다. 이제부터
EM
알고리즘을 도출하고 구현해봅시다.
5.1
KL
발산
EM
알고리즘을 도출하는 데는
KL
발산이 중요한 역할을 합니다. 한편 앞으로는 수식이 많아
지기 때문에 표기 방식을 살짝 변경하려 합니다. 어떻게 바뀌는지부터 설명하겠습니다.
5.1.1
수식 표기법 변경
첫 번째 변경은 기댓값에 대한 것입니다. 연속 확률 변수
x
가 있고 그 확률 밀도를
p
(
x
)
라 한다
면, 함수
f
(
x
)
의 기댓값은 다음 식으로 표현합니다.
이전까지는 기댓값을
E
[
f
(
x
)]
형태로 표기했지만, 앞으로는 방금 식과 같이
E
p
(
x
)
[
f
(
x
)]
로 표기
EM
알고리즘
CHAPTER
5