밑바닥부터 시작하는 딥러닝

155

5

장

-

오차역전파법

[그림

5

-

7

]과 같이 계산 그래프의 역전파는 오른쪽에서 왼쪽으로 신호를 전파합니다. 역전파

의 계산 절차에서는 노드로 들어온 입력 신호에 그 노드의 국소적 미분 (편미분 )을 곱한 후 다

음 노드로 전달합니다. 예를 들어 ‘

**

2

’ 노드에서의 역전파를 보죠. 입력은 이며, 이에 국소

적 미분인 (순전파 시에는 입력이

t

이고 출력이

z

이므로 이 노드에서 (국소적) 미분은 입

니다 )를 곱하고 다음 노드로 넘깁니다. 한 가지, [그림

5

-

7

]에서 역전파의 첫 신호인 의 값

은 결국

1

이라서 앞의 수식에서는 언급하지 않았습니다.

그런데 [그림

5

-

7

]에서 주목할 것은 맨 왼쪽 역전파인데요, 이 계산은 연쇄법칙에 따르면

가 성립되어 ‘

x

에 대한

z

의 미분’이 됩니다. 즉, 역전파가 하는 일은 연쇄

법칙의 원리와 같다는 것이죠.

[그림

5

-

7

]에 [식

5

.

3

]의 결과를 대입하면 [그림

5

-

8

]이 되며, 는

2

(

x

+

y

)임을 구할 수

있습니다.

그림

5-8

계산 그래프의 역전파 결과에 따르면 는

2

(

x

+

y

)가 된다.

5.3

역전파

앞 절에서는 계산 그래프의 역전파가 연쇄법칙에 따라 진행되는 모습을 설명했습니다. 이번 절

에서는 ‘+’와 ‘×’ 등의 연산을 예로 들어 역전파의 구조를 설명합니다.

2

z

2