
641
15
장
RNN과 CNN을 사용한 시퀀스 처리
망도 실제로 잘 작동할 수 있습니다. 이 두 가능성을 살펴본 뒤 마지막에
WaveNet
을 구현하겠
습니다. 이 네트워크는 수만 개의 타임 스텝을 가진 시퀀스를 다룰 수 있는
CNN
구조입니다.
그럼 시작해봅시다.
15.1
순환 뉴런과 순환 층
지금까지는 활성화 신호가 입력 층에서 출력 층 방향으로만 흐르는 피드포워드 신경망에 초점
을 맞추었습니다. 순환 신경망은 피드포워드 신경망과 매우 비슷하지만 뒤쪽으로 순환하는 연
결도 있다는 점이 다릅니다.
[그림
15
-
1
]의 왼쪽 그림처럼 입력을 받아 출력을 만들고 자신에게도 출력을 보내는 뉴런 하
나로 구성된 가장 간단한
RNN
을 살펴봅시다. 각
타임
스텝
time
step
t
(또는
프레임
frame
)마다 이
순환
뉴런
recurrent
neuron
은
x
(
t
)
와 이전 타임 스텝의 출력인
ŷ
(t
-
1 )
을 입력으로 받습니다. 첫 번째 타
임 스텝에서는 이전 출력이 없으므로 일반적으로
0
으로 설정됩니다. 이 작은 네트워크를 [그림
15
-
1
] 오른쪽 그림처럼 시간을 축으로 하여 표현할 수 있는데 이를
시간에
따라
네트워크를
펼
쳤다
unrolling
the
network
through
time
고 말합니다(동일한 뉴런을 타임 스텝마다 하나씩 표현한 것입니
다).
x
(0)