핸즈온 머신러닝(2판): 사이킷런, 케라스, 텐서플로 2를 활용한 머신러닝, 딥러닝 완벽 실무

891

부록 D

자동 미분

여기에서는 텐서플로의 자동 미분 기능이 작동하는 방식과 다른 자동 미분 방법들을 비교하여

설명합니다.

어떤 함수

2

2

++= yyxyxf ),(

에서 경사 하강법(또는 다른 최적화 알고리즘 )을 수행하

기 위해서는 편도함수

x

f

∂

∂

와

y

f

∂

∂

가 필요합니다. 가능한 방법은 수동 미분, 유한 차분 근사

finite

difference

approximation

, 전진 모드 자동 미분, 후진 모드 자동 미분입니다. 텐서플로는 후진 모드 자

동 미분을 사용하지만 원리를 이해하기 위해 다른 방식들을 살펴보는 것이 좋습니다. 수동 미

분부터 하나씩 살펴보죠.

D.1

수동 미분

첫 번째 방법은 종이와 연필을 들고 미적분을 사용하여 편도함수를 유도하는 것입니다. 함수

f

(

x

,

y

)

가 정의되어 있으면 아주 어렵지 않습니다. 필요한 규칙은 다음 다섯 가지입니다.

●

상수의 도함수는

0

입니다.

●

λ

x

의 도함수는

λ

입니다 (

λ

는 상수 ).

●

λ

x

의 도함수는

1

−

λ

λ

x

입니다. 예를 들어

x

2

의 도함수는

2

x

입니다.

●

두 함수를 더한 것의 도함수는 각 함수의 도함수를 더한 것과 같습니다.

●

함수에

λ

배를 곱한 것의 도함수는 함수의 도함수에

λ

를 곱한 것과 같습니다.

자동 미분

APPENDIX

D

892

3

부

부록

이 규칙으로부터 [식

D

-

1

]을 유도할 수 ...