밑바닥부터 시작하는 딥러닝 5

214

밑바닥부터 시작하는 딥러닝 5

이 식에서 알 수 있듯이 표준 정규 분포로부터

f

을 샘플링하고,

f

에 를 곱한 값을 노이즈로

추가합니다. 예컨대

b

t

=

0

.

01

이라면

x

t

=

0

.

995x

t

-

1

+

0

.

1f

이 됩니다. 이전 데이터인

x

t

-

1

의 비중을 살짝 줄이고(스케일다운 ) 작은 노이즈를 추가한다는 뜻입니다.

NOTE_

노이즈만 추가하는 것이라면 이전 데이터를 스케일다운하지 않고 처럼 처리

해도 괜찮을 것 같습니다. 하지만 이 방법으로는 노이즈 추가 후 분산이 커집니다. 확산 모델은 노이즈를 반복

해서 추가하기 때문에 스케일다운을 하지 않으면 분산도 계속 커집니다. 이 문제를 해결하기 위해 이전 데이

터

x

t

-

1

에 를 곱하여 스케일다운함으로써

x

t

와

x

t

-

1

의 분산을 같은 스케일로 유지하는 것입니다.

8.2.2

역확산 과정

역확산 과정

reverse

diffusion

process

(또는 디노이즈 과정 )은 노이즈를 제거하는 과정입니다 (그림

8

-

5

). 이 역시 신경망으로 처리합니다.

그림

8-5

확산 모델의 역확산 과정

......

노이즈 제거

확산 모델에서는 총

T

회에 걸쳐 노이즈를 제거합니다. 매 시각 별도의 신경망을 사용할 수도

있지만 그렇게 하려면 총

T

개의 신경망이 필요합니다.

T

=

1000

정도가 보통이라는 사실을

고려하면 ...