
249
7
장
앙상블 학습과 랜덤 포레스트
RandomForestClassifier 0.894
SVC 0.888
VotingClassifier 0.904
예상대로입니다 ! 투표 기반 분류기가 다른 개별 분류기보다 성능이 조금 더 높습니다.
모든 분류기가 클래스의 확률을 예측할 수 있으면(즉,
predict
_
proba
()
메서드가 있으면 ),
개별 분류기의 예측을 평균 내어 확률이 가장 높은 클래스를 예측할 수 있습니다. 이를
간접 투
표
soft
voting
라고 합니다. 이 방식은 확률이 높은 투표에 비중을 더 두기 때문에 직접 투표 방식보
다 성능이 높습니다. 이 방식을 사용하기 위해서는
voting
=
"
hard
"
를
voting
=
"
soft
"
로 바꾸
고 모든 분류기가 클래스의 확률을 추정할 수 있으면 됩니다.
SVC
는 기본값에서는 클래스 확
률을 제공하지 않으므로
probability
매개변수를
True
로 지정해야 합니다 (이렇게 하면 클래
스 확률을 추정하기 위해 교차 검증을 사용하므로 훈련 속도가 느려지지만
SVC
에서
predict
_
proba
()
메서드를 사용할 수 있습니다 ). 앞의 코드를 간접 투표 방식을 사용하도록 변경하면
91
.
2
%의 정확도를 얻을 것입니다.
7.2
배깅과 페이스팅
앞서 말했듯이 다양한 분류기를 만드는 한 가지 방법은 각기 다른 훈련 알고리즘을 ...