밑바닥부터 시작하는 딥러닝

95

3

장

-

신경망

이 성질 덕분에 소프트맥스 함수의 출력을 ‘확률’로 해석할 수 있습니다.

가령 앞의 예에서

y

[

0

]의 확률은

0

.

018

(

1

.

8

%),

y

[

1

]의 확률은

0

.

245

(

24

.

5

%),

y

[

2

]의 확률

은

0

.

737

(

73

.

7

%)로 해석할 수 있습니다. 그리고 이 결과 확률들로부터 “

2

번째 원소의 확률이

가장 높으니, 답은

2

번째 클래스다”라고 할 수 있습니다. 혹은 “

74

%의 확률로

2

번째 클래스,

25

%의 확률로

1

번째 클래스,

1

%의 확률로

0

번째 클래스다”와 같이 확률적인 결론도 낼 수 있

죠. 즉, 소프트맥스 함수를 이용함으로써 문제를 확률적(통계적)으로 대응할 수 있게 되는 것

이죠.

여기서 주의점으로, 소프트맥스 함수를 적용해도 각 원소의 대소 관계는 변하지 않습니다. 이

는 지수 함수

y

=

e

x

p

(

x

)가 단조 증가 함수이기 때문이죠.

*

실제로 앞의 예에서는

a

의 원소들

사이의 대소 관계가

y

의 원소들 사이의 대소 관계로 그대로 이어집니다. 예를 들어

a

에서 가장

큰 원소는

2

번째 원소이고,

y

에서 가장 큰 원소도

2

번째 원소입니다.

신경망의 분류에서는 일반적으로 가장 큰 출력을 내는 뉴런에 해당하는 클래스로만 인식합니

다. 그리고 소프트맥스 함수를 적용해도 출력이 가장 큰 뉴런의 위치는 달라지지 않습니다. 결

과적으로 신경망으로 분류할 때는 ...