밑바닥부터 시작하는 딥러닝

156

밑바닥부터 시작하는 딥러닝

5.3.1

덧셈 노드의 역전파

먼저 덧셈 노드의 역전파입니다. 여기에서는

z

=

x

+

y

라는 식을 대상으로 그 역전파를 살펴보

겠습니다. 우선

z

=

x

+

y

의 미분은 다음과 같이 해석적으로 계산할 수 있습니다.

2

z

2

x

2

z

2

y

= 1

= 1

[식 5.5 ]

[식

5

.

5

]에서와 같이 와 는 모두

1

이 됩니다. 이를 계산 그래프로는 [그림

5

-

9

]처럼 그

릴 수 있습니다.

그림

5-9

덧셈 노드의 역전파 : 왼쪽이 순전파, 오른쪽이 역전파다. 덧셈 노드의 역전파는 입력 값을 그대로 흘려보낸다.

[그림

5

-

9

]와 같이 역전파 때는 상류에서 전해진 미분 (이 예에서는 )에

1

을 곱하여 하류로

흘립니다. 즉, 덧셈 노드의 역전파는

1

을 곱하기만 할 뿐이므로 입력된 값을 그대로 다음 노드

로 보내게 됩니다.

이 예에서는 상류에서 전해진 미분 값을 이라 했는데, 이는 [그림

5

-

10

]과 같이 최종적으로

L

이라는 값을 출력하는 큰 계산 그래프를 가정하기 때문입니다.

z

=

x

+

y

계산은 그 큰 계산

그래프의 중간 어딘가에 존재하고, 상류로부터 값이 전해진 것입니다. 그리고 다시 하류로

는 과 값을 전달하는 것이죠.

2

z

2

x

2

z

2

y

2

L

2

z

2

L

2

z

2

L

2

z

2

L

2

x

2

L

2

y