핸즈온 머신러닝(2판): 사이킷런, 케라스, 텐서플로 2를 활용한 머신러닝, 딥러닝 완벽 실무

598

2

부

신경망과 딥러닝

망도 실제로 잘 작동할 수 있습니다. 이 두 가능성을 살펴본뒤 마지막에

WaveNet

을 구현하겠

습니다. 이 네트워크는 수만 개의 타임 스텝을 가진 시퀀스를 다룰 수 있는

CNN

구조입니다.

16

장에서는 계속해서

RNN

을 다루면서 어텐션 메커니즘

attention

mechanism

기반의 최신 구조와 함

께 자연어 처리에 사용하는 방법을 배웁니다. 그럼 시작해봅시다.

15.1

순환 뉴런과 순환 층

지금까지는 활성화 신호가 입력층에서 출력층 한 방향으로만 흐르는 피드포워드 신경망에 초

점을 맞추었습니다(부록

E

에 있는 몇 개의 네트워크는 예외입니다). 순환 신경망은 피드포워

드 신경망과 매우 비슷하지만 뒤쪽으로 순환하는 연결도 있다는 점이 다릅니다. [그림

15

-

1

]

왼쪽의 그림처럼 입력을 받아 출력을 만들고 자신에게도 출력을 보내는 뉴런 하나로 구성된 가

장 간단한

RNN

을 살펴봅시다. 각

타임

스텝

time

step

t

(또는

프레임

frame

)마다 이

순환

뉴런

recurrent

neuron

은 물론

x

(

t

)

와 와 이전 타임 스텝의 출력인

y

(t

-

1 )

을 입력으로 받습니다. 첫 번째 타임 스텝

에서는 이전 출력이 없으므로 일반적으로

0

으로 설정합니다. 이 작은 네트워크를 [그림

15

-

1

]

오른쪽처럼 시간을 축으로 하여 표현할 수 있습니다. ...