밑바닥부터 시작하는 딥러닝 5

243

8

장

확산 모델 이론

그림

8-16

을 학습 데이터로 사용하는 확산 모델

NN

학습 데이터

논문

[11]

에 따르면 노이즈를 예측하는 모델의 결과가 더 좋았다고 합니다. 또한 손실 함수의 계

수를 생략하고 사용해도 똑같은 결과를 얻을 수 있습니다.

간단해진 이 손실 함수를 이용해서 확산 모델을 학습시킬 수 있습니다. 다음은 이 손실 함수를

이용한 학습 알고리즘을 의사 코드로 정리한 것입니다.

확산 모델의 학습 알고리즘(노이즈 예측 버전)

1

. 반복:

2

.

x

0

을 학습 데이터에서 무작위로 가져옴

3

.

t

+

U

{

1

,

T

}

(균등 분포로부터 정수 생성)

4

.

f

+

N

(

0

,

I

)

5

.

6

.

7

. 를 구하고 경사법으로 매개변수 갱신

8.6.4

새로운 데이터 샘플링

마지막으로 새로운 데이터를 샘플링하는 방법을 설명하겠습니다.

8

.

4

.

2

절에서 제시한 바와 같

이

p

i

(

x

t

-

1

|

x

t

)

는 다음 식으로 표현됩니다.

244

밑바닥부터 시작하는 딥러닝 5

이로부터

x

t

-

1

+

p

i

(

x

t

-

1

|

x

t

)

에 의한 샘플은 재매개변수화 트릭을 사용하면 다음 식으로 표

현할 수 있습니다.

여기서 와