데이터 과학을 위한 통계: 데이터 분석에서 머신러닝까지 50가지 핵심 개념

229

5

장

분류

5.4.6

리프트

분류기 성능을 평가하는 지표로

AUC

를 사용하면 단순히 정확도만을 사용하는 것보다는 나은

결과를 얻을 수 있다. 전체적인 정확도도 높이면서 실무에서 중요한

1

을 더 정확히 분류해야

하는 트레이드오프를 얼마나 잘 처리하는지 평가할 수 있기 때문이다. 하지만 희귀 케이스 문

제에서는 모든 레코드를

0

으로 분류하지 않도록 하려면 모델의 확률 컷오프를

0

.

5

미만으로 낮

춰야 하는 문제가 있다. 이러한 경우

0

.

4

,

0

.

3

또는 그 이하의 확률도 레코드를

1

로 분류하기에

충분할 수 있다. 즉

1

의 중요성을 너무 크게 반영하여

1

을 과대평가하는 결과를 낳을 수 있다.

컷오프를 변경하면

1

을 포착할 가능성이 높아질 수 있다(

0

을

1

로 잘못 분류하는 경우가 발생

하더라도). 하지만, 그렇다면 최적의 컷오프란 무엇일까?

리프트 개념을 사용하면 이 질문에 대한 직접적인 답변을 잠시 보류할 수 있다. 대신, 각각

1

로

예측될 확률이 있는 레코드들을 정렬한다고 하자. 예를 들면 상위

10

%의 레코드를

1

로 분류하

는 알고리즘이, 눈감고 아무거나 선택하는 경우와 비교할 때 얼마나 나은가? 무작위로 선택했

을 때,

0

.

1

%의 정확도를 얻은 반면, 상위

10

%에서

0

.

3

%의 결과를 얻었다면, 이 알고리즘은 상

위

10

%에서

3

의

리프트

(다른 표현으로 ...