밑바닥부터 시작하는 딥러닝

147

5

장

-

오차역전파법

오차역전파법

앞 장에서는 신경망 학습에 대해서 설명했습니다. 그때 신경망의 가중치 매개변수의 기울기

(정확히는 가중치 매개변수에 대한 손실 함수의 기울기 )는 수치 미분을 사용해 구했습니다.

수치 미분은 단순하고 구현하기도 쉽지만 계산 시간이 오래 걸린다는 게 단점입니다. 이번 장

에서는 가중치 매개변수의 기울기를 효율적으로 계산하는 ‘오차역전파법

backpropagation

’을 배워보

겠습니다.

*

오차역전파법을 제대로 이해하는 방법은 두 가지가 있을 것입니다. 하나는 수식을 통한 것이

고, 다른 하나는 계산 그래프로 이해한다는 것입니다. 전자 쪽이 일반적인 방법으로, 특히 기계

학습을 다루는 책 대부분은 수식을 중심으로 이야기를 전개합니다. 확실히 수식을 사용한 설명

은 정확하고 간결하므로 올바른 방법이라 할 수 있겠죠. 하지만 졸업 후 너무 오랜만에 수식을

중심으로 생각하다 보면 본질을 놓치거나, 수많은 수식에 당황하는 일이 벌어지기도 합니다.

그래서 이번 장에서는 계산 그래프를 사용해서 ‘시각적’으로 이해시켜드리겠습니다. 그리고 실

제로 코드를 작성해보면 ‘과연!’이란 탄성과 함께 더 깊이 이해하게 될 것입니다.

오차역전파법을 계산 그래프로 설명한다는 생각은 안드레 카패시

Andrej

Karpathy

의 블로그

[

4

]

, 또 그

와 페이페이 ...