밑바닥부터 시작하는 딥러닝 5

57

2

장

최대 가능도 추정

생성 모델에서도 샘플을 사용하여 모집단을 추정합니다. 생성 모델이라는 맥락에서 모집단은

‘샘플을 뒷받침하는 확률 분포’입니다. 그 확률 분포를

모집단 분포

population

distribution

라고 합니다

(그림

2

-

3

).

그림

2-3

생성 모델에서 모집단 분포와 샘플의 관계

모집단 분포

샘플

?

샘플링

추정

[그림

2

-

3

]에서는 샘플이 따르는 확률 분포를

p

*

(

x

)

로 표기했습니다. 모집단 분포인

p

*

(

x

)

를

얻을 수 있다면 이상적이지만, 현실적으로 모집단 분포를 직접 알 수는 없습니다. 그래서 샘플

을 바탕으로 모집단 분포를 추정합니다. 이때 일반적으로 다음 두 가지 작업을 수행합니다.

1

모델링: 모집단 분포를 ‘매개변수로 조정 가능한 확률 분포’로 비슷하게 표현할 수 있다고 가정한다.

2

매개변수 추정 : 모델링 결과로 만들어진 확률 분포가 샘플 데이터에 부합하도록 매개변수를 추정한다.

이처럼 모델링과 매개변수 추정 작업을 통해 생성 모델이 만들어집니다. 첫 번째 모델링에서는

정규 분포와 같이 매개변수로 제어할 수 있는 확률 분포를 설정합니다. 그런 다음 매개변수 추

정에서는 샘플과 가장 잘 부합하도록 매개변수를 조정합니다. 이때 최대 가능도 추정 기법을

사용합니다. 최대 가능도 추정에 대해서는

2

.

3

절에서 설명합니다.

2.2

실제 데이터로 ...