밑바닥부터 시작하는 딥러닝 5

199

7

장

변이형 오토인코더

를 고정해둔 후 다른 매개변수를 갱신해야 했습니다).

이제 기울기 계산만 남았습니다. [그림

7

-

10

]의 계산 그래프(=계산의 흐름을 표현한 그림)에

서 역전파를 수행하면 기울기를 구할 수 있습니다. 다만 이 계산 그래프에는 문제가 하나 있습

니다. 바로 샘플링 부분입니다. 샘플링은 미분 불가능한 계산이므로 역전파를 할 수 없습니다.

이 문제를 해결하는 비법이 바로 재매개변수화 트릭입니다.

7.3.2

재매개변수화 트릭

재매개변수화 트릭

reparameterization

trick

은

의 샘플링을 다음과 같이 계산합니다.

f

은 평균 벡터가

0

이고 공분산 행렬이

I

(=단위행렬 )인 표준 정규 분포에서 샘플링합니다. 그

리고 으로 변환합니다. 여기서

9

은 아다마르 곱을 뜻합니다.

아다마르 곱

Hadamard

product

은 벡터의 원소별 곱입니다 (같은 크기 두 행렬의 각 성분을 곱하는 연산 ). 실제로 벡터의

원소까지 쓰면 다음과 같은 식이 됩니다.

이 계산으로 얻은

z

는 에서 샘플링된 값과 동일한 분포를 따릅니다. 그리고 재

매개변수화 트릭을 통해 계산 그래프가 [그림

7

-

11

]처럼 개선됩니다.