밑바닥부터 시작하는 데이터 과학 데이터 분석을 위한 파이썬 프로그래밍과 수학·통계 기초

from Scratch

277

󽴜󽴔󻬏󽴔󽴛

로는

100

%의 정확도를 달성하기 어렵다. 하지만 은닉 뉴런의 수가

50

개 정도 되

면 충분히 가능하다.)

19.9

Softmax와 Cross-Entropy

앞서 다룬 모델의 마지막 층은 시그모이드 층으로 구성되었다. 즉, 이 모델의 결

괏값은

0

과

1

사이의 값으로 구성된 벡터이다. 모든 값이

0

혹은

1

로 구성된 벡터

가 산출될 수도 있다. 이 모델은 분류를 위한 모델이기 때문에, 올바르게 분류된

경우에는

1

을, 틀리게 분류된 경우에는

0

을 반환하는 것이 이상적일 것이다. 하

지만 대부분의 경우 완벽한 결과 예측은 불가능할 것이다. 이런 경우 적어도 클

래스 간 확률분포를 계산해 보는 것도 나쁘지 않다.

예를 들어 두 개의 클래스를 분류하는 경우에 모델의 결괏값이

[0, 0]

이라면,

이것이 무엇을 나타내는지 이해하기 매우 힘들 것이다. 과연 결괏값이 어떠한

클래스에도 속하지 않다는 것을 의미하는 걸까?

만약 동일한 모델의 결괏값이

[0.4, 0.6]

이라면 첫 번째 클래스에 속할 확률

이

0

.

4

, 두 번째 클래스에 속할 확률이

0

.

6

이라는 것으로 이해할 수 있다.

이렇게 결괏값을 확률적으로 표현하려면 모델의 마지막 층을 시그모이드 층

대신

소프트맥스(

softmax

) 층으로 구성해야 한다. ...