October 2024
Beginner to intermediate
340 pages
7h 38m
Korean
Content preview from 밑바닥부터 시작하는 딥러닝 5
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
Start your free trial
122
밑바닥부터 시작하는 딥러닝 5
합니다.
p
(
x
)
에 대한 기댓값임을 명시한 것입니다. 예를 들어 확률 분포
q
(
x
)
에 대한 기댓값은
다음처럼 표현합니다.
두 번째 변경은 매개변수 표기 위치입니다. 이전까지는 매개변수
i
를 가진 확률 분포는
p
(
x
;
i
)
형태로 표기했습니다. 앞으로는
p
i
(
x
)
형태도 함께 사용합니다.
i
의 표기 위치는 다르지만 모
두 같은 수식입니다.
그림
5-1
변경된 수식 표기법
Before After
그럼 드디어
KL
발산을 만나볼 차례입니다.
5.1.2
KL
발산 정의식
쿨백-라이블러 발산
Kullback
-
Leibler
divergence
, 즉
KL
발산
은 두 확률 분포의 차이를 측정하는 척도입
니다. 두 가지 확률 분포
p
(
x
)
와
q
(
x
)
가 주어졌을 때
KL
발산은 다음 식으로 표현합니다.
이 식은
x
가 연속 확률 변수일 때의
KL
발산입니다.
x
가 이산형이라면 다음 식으로 표현합
니다.
123
5
장
EM 알고리즘
KL
발산에는 다음과 같은 특징이 있습니다.
●
두 확률 분포가 다를수록 값이 커진다.
●
0
이상의 값을 가지며 두 확률 분포가 같을 때만
0
이 된다. ...