AI를 위한 필수 수학

344

AI

를 위한 필수 수학

8.14.2

볼츠만 머신

볼츠만 머신은 홉필드 네트워크에 숨겨진

hidden

유닛을 추가한 형태다. 신경망의 입력 유닛과

숨겨진 유닛의 구조에 이미 익숙하므로 자세히 설명하지는 않지만 볼츠만 머신이 그 기원이라

는 점은 알아둘 만한 사실이다. 홈필드 네트워크와 마찬가지로 입력 및 숨겨진 유닛 모두

0

또

는

1

의 이진 상태를 지닌다. 현대 버전에서는 이진 값뿐만 아니라 실수 값을 취하는 유닛도 구

현된다.

모든 볼츠만 머신은 다루기 어려운 분할 함수를 가지므로 앞서 언급했던 기술을 활용해 최대

가능도 기울기를 근사한다.

볼츠만 머신은 학습을 위해서 계산 집약적인

깁스 샘플링

Gibbs

sampling

에만 의존한다. 깁스는 통계

역학 분야에서 반복적으로 등장하는 이름이다. 깁스 샘플링은 네트워크의 가중치에 대해 편향

되지 않은 추정치를 구할 수 있지만 이러한 추정치는 편차가 크다. 일반적으로 편향과 분산 사

이에는 트레이드 오프

trade

-

off

가 있으며 이 트레이드 오프는 각 방법의 장단점을 부각시킨다.

8.14.3

제한된 볼츠만 머신(명시적 밀도와 추적 불가능)

볼츠만 머신은 보이는 계층, 숨겨진 계층 그리고 수많은 계층 간 연결로 인해 학습 속도가 매우

느리다 (매우 지저분한 역전파를 생각하면 된다 ). 이처럼 학습 속도가 매우 느리기 때문에 실

제 문제에 응용할 수 없다. 제한된 볼츠만 머신은 서로 다른 계층 간의 연결만을 허용함으로써

이 문제를 해결한다. 즉, 제한된 볼츠만 머신은 각 계층 내에서의 연결이 없어 ...