밑바닥부터 시작하는 딥러닝 5

253

9

장

확산 모델 구현

v[i]

=

_

pos

_

encoding(ts[i], output

_

dim, device) # ❶

return v

v

=

pos_encoding(torch

.

tensor([1, 2, 3]), 16)

print(v

.

shape) # (3, 16)

인수 중

ts

는 텐서입니다. ❶ 이 텐서의 각 원소에 대해 앞서 구현한 _

pos

_

encoding

( )을 호

출합니다. 이것으로 사인파 위치 인코딩 구현을 마칩니다.

9.2.3

U

-

Net

에 통합

마지막으로

U

-

Net

에 사인파 위치 인코딩을 통합합니다. 앞 절에서 구현한

ConvBlock

클래

스에 사인파 위치 인코딩을 도입하겠습니다.

ConvBlock

은 합성곱 계층 두 개로 구성된 처리

단위입니다. 앞 절에서는

ConvBlock

을 사용하여

U

-

Net

을 [그림

9

-

7

]과 같이 구현하였습

니다.

그림

9-7

앞 절에서 구현한

U

-

Net

Conv

ConvBlock

ReLU

BatchNorm

Conv

maxpool

ReLU

BatchNorm

maxpool

x

ConvBlock

ConvBlock

upsample

upsample

ConvBlock

ConvBlock

사용

예

254

밑바닥부터 시작하는 딥러닝 5

이번 절에서는 그림에 등장하는 다섯

ConvBlock

에 사인파 위치 인코딩 정보를 추가합니다.

그림

9-8

사인파 위치 인코딩을 도입한

U