밑바닥부터 시작하는 딥러닝

119

4

장

-

신경망 학습

np

.

arange

(

batch

_

size

)는 [

0

,

1

,

2

,

3

,

4

]라는 넘파이 배열을 생성합니다.

t

에는 레이블이

[

2

,

7

,

0

,

9

,

4

]와 같이 저장되어 있으므로

y

[

np

.

arange

(

batch

_

size

),

t

]는 각 데이터의 정

답 레이블에 해당하는 신경망의 출력을 추출합니다 (이 예에서는

y

[

np

.

arange

(

batch

_

size

),

t

]는 [

y

[

0

,

2

],

y

[

1

,

7

],

y

[

2

,

0

],

y

[

3

,

9

],

y

[

4

,

4

]]인 넘파이 배열을 생성합니다).

4.2.5

왜 손실 함수를 설정하는가?

이쯤이면 손실 함수의 정의는 이해하셨을 겁니다. 그렇다면 왜 굳이 손실 함수를 사용해야 하

는 걸까요? 예컨대 숫자 인식의 경우도 우리의 궁극적인 목적은 높은 ‘정확도’를 끌어내는 매개

변수 값을 찾는 것입니다. 그렇다면 ‘정확도’라는 지표를 두고 중간에 손실 함수의 값을 거치는

것은 쉬운 길을 빙 돌아가는 것은 아닐까요?

이 의문은 신경망 학습에서의 ‘미분’의 역할에 주목한다면 해결됩니다. 자세한 것은 다음 절에

서 설명합니다만, 신경망 학습에서는 최적의 매개변수 (가중치와 편향 )를 탐색할 때 손실 함수

의 값을 가능한 한 작게 하는 매개변수 값을 찾습니다. 이때 매개변수의 미분(정확히는 기울

기)을 계산하고, 그 미분 값을 단서로 매개변수의 값을 서서히 갱신하는 과정을 반복합니다.

가령 여기에 가상의 신경망이 있고 그 신경망의 어느 한 가중치 매개변수에 주목한다고 합시

다. 이때 그 가중치 매개변수의 손실 함수의 미분이란 ...