순 확률 모델이 학습 데이터를 가장 잘 설명한다는 것을 기본 가정으로 했기 때문이다. 다시 말
해 복잡한 관계가 의외로 확률적으로는 단순할 수 있다. 여기서 주의해야 할 점은 잠재 변수의 데
이터 분포에 대한 가정이 단순하거나 너무 약할 경우 편향이 발생할 수 있다는 점이다. 즉, 사전
분포
prior
distribution
에 대한 가정이나 근사 사후 분포
approximate
posterior
distribution
에 대한 가정이 너무
약하면 완벽한 최적화 알고리즘과 무한한 훈련 데이터를 가지고도 추정치 과 실제 로그 가
능도
log
likelihood
사이의 격차로 인해
p
model
이 진정한
p
data
와 완전히 다른 분포로 학습될 수 있다.
수학적으로 우리는 데이터의 로그 가능도에 대한 하한선을 최대화하려고 한다. 과학에서 변분
법은 최대화하고자 하는 에너지 함수에 대한 하한선을 정의하거나 최소화하고자 하는 에너지
함수에 대한 상한선을 정의한다. 이러한 경계는 일반적으로 로그 가능도가 없는 경우에도 쉽게
구할 수 있으며 실행 가능한 최적화 알고리즘이 있다. 다음의 경계는 우리가 찾고자 하는 최적
값의 추정치에 관해 받을 수 있는 좋은 힌트라고 할 수 있다.
변분법은 매우 뛰어난 가능성을 제공하지만 샘플의 품질이 낮다는 주관적
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month, and much more.
O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.
Julian F.
Head of Cybersecurity
I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.
Addison B.
Field Engineer
I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.
Amir M.
Data Platform Tech Lead
I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.