밑바닥부터 시작하는 딥러닝

127

4

장

-

신경망 학습

문제

2

:

x

0

=

3

,

x

1

=

4

일 때,

x

1

에 대한 편미분

x

f

1

2

2

를 구하라.

>>>

def function

_

tmp2

(

x1

):

...

return 3

.

0

**

2

.

0

+

x1

*

x1

...

>>>

numerical

_

diff

(

function

_

tmp2

,

4

.

0

)

7

.

999999999999119

이들 문제는 변수가 하나인 함수를 정의하고, 그 함수에 대한 미분을 구하는 형태로 구현하

여 풀었습니다. 예를 들어 문제

1

에서는

x

1

=

4

로 고정된 새로운 함수를 정의하고, 변수가

x

0

하나뿐인 함수에 대해 수치 미분 함수를 적용하였습니다. 이렇게 구한 문제

1

의 결과는

6

.

00000000000378

, 문제

2

의 결과는

7

.

999999999999119

입니다. 보다시피 해석적 미분의

결과와 거의 같지요.

이처럼 편미분은 변수가 하나인 미분과 마찬가지로 특정 장소의 기울기를 구합니다. 단, 여러

변수 중 목표 변수 하나에 초점을 맞추고 다른 변수는 값을 고정합니다. 앞의 예에서는 목표 변

수를 제외한 나머지를 특정 값에 고정하기 위해서 새로운 함수를 정의했지요. 그리고 그 새로

정의한 함수에 대해 그동안 사용한 수치 미분 함수를 적용하여 편미분을 구한 것입니다.

4.4

기울기

앞 절의 예에서는

x

0

와

x

1

의 편미분을 변수별로 따로 계산했습니다. ...