파이썬 라이브러리를 활용한 머신러닝(번역개정판): 사이킷런 핵심 개발자가 쓴 머신러닝과 데이터 과학 실무서

4

장

데이터 표현과 특성 공학

309

Out [55]:

테스트 점수: 0.951

특성 선택이 더 잘 되었으므로 성능도 조금 향상되었습니다.

4.7.3

반복적 특성 선택

일변량 분석에서는 모델을 사용하지 않았고, 모델 기반 선택에서는 하나의 모델을 사용해 특성

을 선택했습니다.

반복적 특성 선택

Iterative

Feature

Selection

에서는 특성의 수가 각기 다른 일련의 모델

이 만들어집니다. 기본적으로 두 가지 방법이 있습니다. 첫 번째는 특성을 하나도 선택하지 않

은 상태로 시작해서 어떤 종료 조건에 도달할 때까지 하나씩 추가하는 방법입니다. 두 번째는

모든 특성을 가지고 시작해서 어떤 종료 조건이 될 때까지 특성을 하나씩 제거해가는 방법입니

다. 일련의 모델이 만들어지기 때문에 이 방법은 앞서 소개한 방법들보다 계산 비용이 훨씬 많

이 듭니다.

재귀적 특성 제거

RFE

,

recursive

feature

elimination

가 이런 방법의 하나입니다. 이 방법은 모든

특성으로 시작해서 모델을 만들고 특성 중요도가 가장 낮은 특성을 제거합니다. 그런 다음 제

거한 특성을 빼고 나머지 특성 전체로 새로운 모델을 만듭니다. 이런 식으로 미리 정의한 특성

개수가 남을 때까지 계속합니다.

31

이를 위해 모델 기반 선택에서처럼 특성 선택에 사용할 모

델은 특성의 중요도를 ...