
362
2
부
신경망과 딥러닝
NOTE
_
신호는 (입력에서 출력으로) 한 방향으로만 흐릅니다. 따라서 이 구조는
피드포워드 신경망
feedforward
neural
network
(
FNN
)에 속합니다.
은닉층
19
을 여러 개 쌓아 올린 인공 신경망을
심층 신경망
deep
neural
network
(
DNN
)이라고 합니다.
딥러닝은 심층 신경망을 연구하는 분야이며 조금 더 일반적으로는 연산이 연속하여 길게 연결
된 모델을 연구합니다. 그렇지만 많은 사람들은 (얕더라도 ) 신경망이 사용되면 딥러닝이라고
말합니다.
연구자들은 다층 퍼셉트론을 훈련할 방법을 찾기 위해 오랫동안 고군분투했지만 성공하지 못
했습니다. 하지만
1986
년 데이비드 루멜하트
David
Rumelhart
, 제프리 힌턴, 로날드 윌리엄스
Ronald
Williams
가
역전파
backpropagation
훈련 알고리즘을 소개하는 획기적인 논문
20
을 공개했습니다. 이 알
고리즘은 오늘날에도 여전히 사용됩니다. 간단히 말하면 이 알고리즘은 효율적인 기법으로 그
레이디언트를 자동으로 계산하는 (
4
장에서 소개한 ) 경사 하강법입니다.
21
네트워크를 두 번
(정방향 한 번, 역방향 한 번) 통과하는 것만으로 이 역전파 알고리즘은 모든 모델 파라미터에
대한 네트워크 오차의 그레이디언트를 계산할 수 있습니다. 다른 말로 ...