밑바닥부터 시작하는 딥러닝

299

부록

A -

Softmax-with-Loss 계층의 계산 그래프

A.3

정리

여기에서는

Softmax

-

with

-

Loss

계층의 계산 그래프를 생략 없이 그려가며 그 역전파를 구

했습니다.

Softmax

-

with

-

Loss

계층의 계산 그래프를 생략하지 않고 그리면 [그림

A

-

5

]처

럼 됩니다.

그림

A-5

Softmax

-

with

-

Loss

계층의 계산 그래프

Softmax

계층

Cross

Entropy

Error

계층

복잡해 보이는군요. 그러나 계산 그래프로 한 단계씩 확인하면서 진행하면 미분을 구하는 것

(역전파의 순서)이 그렇게 힘든 작업은 아니잖아요? 여기에서 설명한

Softmax

-

with

-

Loss

계층 외에도, 배치 정규화 계층 등 복잡해 보이는 계층을 만나면 이번 절에서 한 것과 같은 과

정을 꼭 한번 밟아보세요. 수식만 놓고 고민하는 것보다 분명 쉽게 이해할 수 있을 겁니다.