밑바닥부터 시작하는 딥러닝

153

5

장

-

오차역전파법

5.2.1

계산 그래프의 역전파

서둘러 계산 그래프를 사용한 역전파의 예를 하나 살펴봅시다.

y

=

f

(

x

)라는 계산의 역전파를

[그림

5

-

6

]로 그려봤습니다.

그림

5-6

계산 그래프의 역전파 : 순방향과는 반대 방향으로 국소적 미분을 곱한다.

[그림

5

-

6

]과 같이 역전파의 계산 절차는 신호

E

에 노드의 국소적 미분(

x

y

2

2

)을 곱한 후 다음

노드로 전달하는 것입니다. 여기에서 말하는 국소적 미분은 순전파 때의

y

=

f

(

x

) 계산의 미분

을 구한다는 것이며, 이는

x

에 대한

y

의 미분(

x

y

2

2

)을 구한다는 뜻입니다. 가령

y

=

f

(

x

) =

x

2

이라면

x

y

x2

2

2

=

가 됩니다. 그리고 이 국소적인 미분을 상류에서 전달된 값 (이 예에서는

E

)에

곱해 앞쪽 노드로 전달하는 것입니다.

이것이 역전파의 계산 순서인데, 이러한 방식을 따르면 목표로 하는 미분 값을 효율적으로 구

할 수 있다는 것이 이 전파의 핵심입니다. 왜 그런 일이 가능한가는 연쇄법칙의 원리로 설명할

수 있습니다. 그럼 이쯤에서 연쇄법칙을 설명해야겠지요?

5.2.2

연쇄법칙이란?

연쇄법칙을 설명하려면 우선 합성 함수 이야기부터 시작해야 합니다.

합성 함수

란 여러 함수로

구성된 함수입니다. 예를 들어

z

= (

x

+

y

)

2

이라는 식은 [식

5

.

1

]처럼 두 개의 식으로 ...