밑바닥부터 시작하는 딥러닝

167

5

장

-

오차역전파법

5.5.2

Sigmoid

계층

다음은 시그모이드 함수 차례입니다. 시그모이드 함수는 다음 식을 의미하는 함수입니다.

y

x

()exp

1

1

=

+-

[식 5.9 ]

[식

5

.

9

]를 계산 그래프로 그리면 [그림

5

-

19

]처럼 됩니다.

그림

5-19

Sigmoid

계층의 계산 그래프(순전파)

+

[그림

5

-

19

]에는 ‘×’와 ‘+’ 노드 말고도 ‘

exp

’와 ‘/ ’ 노드가 새롭게 등장했습니다. ‘

exp

’ 노드는

y

=

exp

(

x

) 계산을 수행하고 ‘/ ’ 노드는

y

x

1

=

계산을 수행합니다.

*

[그림

5

-

19

]와 같이 [식

5

.

9

]의 계산은 국소적 계산의 전파로 이뤄집니다. 이제 [그림

5

-

19

]

의 역전파를 알아볼 차례입니다. 여기에서는 (그동안의 정리도 겸해) 역전파의 흐름을 오른쪽

에서 왼쪽으로 한 단계씩 짚어보겠습니다.

1

단계

‘/ ’ 노드, 즉

y

x

1

=

을 미분하면 다음 식이 됩니다.

x

x

y

y

1

2

2

2

2

=

=

[식 5.10 ]

[식

5

.

10

]에 따르면 역전파 때는 상류의 예측값에 -

y

2

(순전파의 출력을 제곱한 후 마이너스를

붙인 값)을 곱해서 하류로 전달합니다. 계산 그래프에서는 다음과 같습니다.

*

옮긴이_ [그림

5

-

19

]와 비교하며 읽으면 헷갈릴 수도 있는데, 본 설명글(

not

그림)에서의

x

는 함수의 입력을 추상화해 표기할 ...