October 2024
Beginner to intermediate
340 pages
7h 38m
Korean
Content preview from 밑바닥부터 시작하는 딥러닝 5
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
Start your free trial
216
밑바닥부터 시작하는 딥러닝 5
8.3
ELBO
계산 ①
확산 모델도
VAE
와 똑같은 흐름으로 학습을 진행합니다. 즉, 로그 가능도가 최대가 되는 매개
변수를 찾습니다. 하지만 로그 가능도를 직접 계산하기는 어렵기 때문에, 대신 로그 가능도의
하한인
ELBO
를 최적화 대상으로 삼습니다. 이렇게 하려면 확산 모델의
ELBO
를 계산해야 합
니다.
앞으로 목표는 확산 모델의
ELBO
를 (근사적으로 ) 계산하는 것입니다. 과정이 꽤 복잡하여
[그림
8
-
7
]과 같이 세 단계로 나눠 진행하겠습니다.
그림
8-7
ELBO
계산법 개선 로드맵
1
ELBO
계산
2
3
샘플 크기
T
샘플 크기
2
샘플 크기
1
확산 모델의
ELBO
는 정확하게 계산할 수 없기 때문에 근삿값을 구해야 합니다. 당연히 첫 번
째 단계에서는 근삿값을 구하는 가장 직관적인 방법을 알아봐야겠죠? 최종 시각이
T
라면,
x
1
,
x
2
…
x
T
라는 총
T
개의 샘플 데이터를 뽑아서 근삿값을 구할 수 있습니다. 이것이 이번 절에서
설명할 방법입니다. 이어서 다음 절인
8
.
4
절에서는 계산법을 개선하여 샘플 두 개로 근사하는
방법을,
8
.
5
절에서는 한 번 더 개선하여 샘플 한 개로 근사하는 방법을 설명합니다.
8.3.1
확산 모델의
ELBO
확산 모델의
ELBO
도 역시
VAE
의
ELBO
와 같은 식으로 도출할 수 있습니다. ...