밑바닥부터 시작하는 딥러닝

151

5

장

-

오차역전파법

이처럼 계산 그래프는 국소적 계산에 집중합니다. 전체 계산이 제아무리 복잡하더라도 각 단계

에서 하는 일은 해당 노드의 ‘국소적 계산’입니다. 국소적인 계산은 단순하지만, 그 결과를 전달

함으로써 전체를 구성하는 복잡한 계산 결과를 얻을 수 있습니다.

비유하자면 복잡한 자동차 조립은 일반적으로 ‘조립 라인 작업’에 의한 분업으로 행해집니다. 각 담

당자 (담당 기계)는 단순화된 일만 수행하며 그 일의 결과가 다음 담당자로 전달되어 최종적으로 차가 완성됩

니다. 계산 그래프도 복잡한 계산을 ‘단순하고 국소적 계산’으로 분할하고 조립 라인 작업을 수행하며 계산 결

과를 다음 노드로 전달합니다. 복잡한 계산도 분해하면 단순한 계산으로 구성된다는 점은 자동차 조립과 마

찬가지인 것이죠.

5.1.3

왜 계산 그래프로 푸는가?

지금까지 계산 그래프를 써서 두 문제를 풀어봤습니다. 자, 계산 그래프의 이점은 무엇입니까?

이점 하나는 방금 설명한 ‘국소적 계산’에 있습니다. 전체가 아무리 복잡해도 각 노드에서는 단

순한 계산에 집중하여 문제를 단순화할 수 있습니다. 또 다른 이점으로, 계산 그래프는 중간 계

산 결과를 모두 보관할 수 있습니다. 예를 들어 사과

2

개까지 계산했을 때의 금액은

200

원, 소

비세를 더하기 전의 금액은

650

원인 식이죠. 그러나 ...