
896
3
부
부록
이원수
ε
2
= 0
인
a + bε
부동소수점수 (a, b) 쌍으로 저장됩니다.
예를 들면 42.000024가 아니고
(42.0, 24.0)입니다.
그림
D-2
이원수를 사용한 전진 모드 자동 미분
,( 43
y
∂
를 계산하려면 그래프를 다시 실행해야 합니다. 이때는
x
=
3
,
y
=
4
+
ε
으로 설정합
니다.
전진 모드 자동 미분은 유한 차분 근사보다 훨씬 더 정확합니다. 하지만 동일하게 중요한 단
점이 있습니다. 적어도 입력이 많고 출력이 적을 때 그렇습니다(신경망의 경우에 해당합니
다).
1
,
000
개의 파라미터가 있다면 모든 파라미터에 대한 편도함수를 계산하기 위해 그래프를
1
,
000
번 실행해야 합니다. 그래서 후진 모드 자동 미분이 선호됩니다. 이 방법은 모든 편도함
수를 계산하기 위해 그래프를 단 두 번만 실행하면 됩니다. 어떻게 하는지 알아보죠.