AI를 위한 필수 수학

319

Chapter 8 -

확률적 생성 모델

한 밀도 모델, 최대화 문제의 해에 대한 확률적 마르코프 체인 근사치 사용 ), 확률적 생성 네트

워크 모델(암시적 밀도 모델, 마르코프 체인에 따라 대략적인 최대 가능도

likelihood

에 도달) 등

변수의 변환이 필요한 모델이 있다(이 모델들은

Chapter

8

의 마지막 부분에서 살펴보겠다).

수학적 이론이나 분석과는 별개로 마르코프 체인 접근법은 계산 비용이 많이 들고 빠르게 수렴

하기 어려워 실제로는 선호되지 않는다.

8.3

결정론적 사고에서 확률 이론적 사고로의 전환

우리는 점차 우리의 사고를 결정론적 사고에서 확률 이론적 사고로 전환하고 있다. 지금까지는

예측을 위해 결정론적 함수만 사용했다. 훈련 함수는 데이터 피처들의 선형 조합이었으며 종종

비선형 활성화 함수와 조합되기도 했다. 그리고 손실 함수는 실제 값과 예측값 사이의 결정론

적 판별자였다. 또한 결정론적 경사 하강법에 기반을 둔 최적화 방법을 사용했다. 확률성 또는

무작위성은 우리 모델의 결정론적 구성 요소 중 그 연산을 덜 비싸게 만들 필요가 있을 때만 도

입되었다. 예를 들면 다음과 같은 것들이 있다.

●

확률적 경사 하강법

●

확률적 특이값 분해

●

데이터셋을 훈련, 검증, 테스트셋으로 나눌 때

●

미니 배치를 선택할 때

●

일부 하이퍼파라미터 공간을 탐색할 때

●

데이터 샘플의 점수를 결정론적 함수인 소프트맥스 함수에 전달하고 그 결과를 확률로 해석할 때

지금까지 적용해온 확률성, 확률 분포는 모델의 특정 구성 요소하고만 ...