파이썬 라이브러리를 활용한 머신러닝(번역개정판): 사이킷런 핵심 개발자가 쓴 머신러닝과 데이터 과학 실무서

5

장

모델 평가와 성능 향상

381

세 가지

gamma

값에 대한 정확도는

90

%로 모두 같습니다. 이는 우연히 성능이 같은 것일 수

도 있고 아닐 수도 있습니다. 그러나

AUC

와

ROC

곡선을 보면 세 모델의 차이가 뚜렷하게 확

인됩니다.

gamma

=

1

.

0

에서

AUC

는 무작위로 선택한 수준, 즉

decision

_

function

의 출력이

무작위 선택과 다를 바가 없습니다.

gamma

=

0

.

1

에서는

AUC

값이

0

.

96

으로 크게 향상되었

습니다. 마지막으로

gamma

=

0

.

01

에서 완벽한

AUC

값인

1

을 얻었습니다. 즉 결정 함수에 의

해서 모든 양성 포인트는 어떤 음성 포인트보다 더 높은 점수를 가집니다. 다르게 말하면 적절

한 임계값에서 이 모델은 데이터를 완벽하게 분류할 수 있습니다!

38

이 사실은 이 모델에서 임

계값을 조정해서 아주 높은 예측 성능을 얻을 수 있음을 말해줍니다. 정확도만 사용한다면 이

런 점을 결코 발견하지 못할 것입니다.

이런 이유로 불균형한 데이터셋에서 모델을 평가할 때는

AUC

를 사용하라고 강력이 권합니다.

하지만

AUC

값이 기본 임계값과는 상관없으므로,

AUC

가 높은 모델에서 좋은 분류 결과를 얻

으려면 결정 임계값을 조정해야 합니다.

5.3.3

다중 분류의 평가 지표

이진 분류 평가에 대해 자세히 보았으니, 이제 다중 분류를 평가하는 ...