밑바닥부터 시작하는 딥러닝

150

밑바닥부터 시작하는 딥러닝

여기서

2

번째 ‘계산을 왼쪽에서 오른쪽으로 진행’하는 단계를

순전파

forward

propagation

라고 합니다.

순전파는 계산 그래프의 출발점부터 종착점으로의 전파입니다. 순전파라는 이름이 있다면 반

대 방향 (그림에서 말하면 오른쪽에서 왼쪽 )의 전파도 가능할까요? 네! 그것을

역전파

backward

propagation

라고 합니다. 역전파는 이후에 미분을 계산할 때 중요한 역할을 합니다.

5.1.2

국소적 계산

계산 그래프의 특징은 ‘국소적 계산’을 전파함으로써 최종 결과를 얻는다는 점에 있습니다. 국

소적이란 ‘자신과 직접 관계된 작은 범위’라는 뜻이죠. 국소적 계산은 결국 전체에서 어떤 일이

벌어지든 상관없이 자신과 관계된 정보만으로 다음 결과 (그 후의 결과)를 출력할 수 있다는 것

입니다.

국소적 계산을 구체적인 예를 들어 설명하겠습니다. 가령 슈퍼마켓에서 사과

2

개를 포함한 여

러 식품을 구입하는 경우를 생각해보세요. 이를 [그림

5

-

4

]와 같은 계산 그래프로 나타낼 수

있을 겁니다.

그림

5-4

사과

2

개를 포함해 여러 식품을 구입하는 예

복잡한 계산

사과의 개수

여러 식품 구입

소비세

[그림

5

-

4

]에서는 여러 식품을 구입하여 (복잡한 계산을 거쳐) 총금액이

4

,

000

원이 되었습

니다. 여기에서 핵심은 각 노드에서의 ...