핸즈온 머신러닝: 사이킷런과 텐서플로를 활용한 머신러닝, 딥러닝 실무

90

1

부

머신러닝

비슷한 코드로 테스트 세트에 있는 소득 카테고리의 비율을 측정합니다. [그림

2

-

10

]은 전체 데

이터셋과 계층 샘플링으로 만든 테스트 세트에서 소득 카테고리 비율을 비교한 것입니다. 그림

에서 보듯이 계층 샘플링을 사용해 만든 테스트 세트가 전체 데이터셋에 있는 소득 카테고리의

비율과 거의 같습니다. 반면 일반 무작위 샘플링으로 만든 테스트 세트는 비율이 많이 달라졌습

니다.

그림

2-10

계층 샘플링과 순수한 무작위 샘플링의 샘플링 편향 비교

전체 무작위 샘플링 계층 샘플링 무작위 샘플링 오류율 계층 샘플링 오류율

이제

income

_

cat

특성을 삭제해서 데이터를 원래 상태로 되돌리겠습니다.

26

for set

_

in

(

strat

_

train

_

set

,

strat

_

test

_

set

):

set

_

.

drop

("

income

_

cat

",

axis

=

1

,

inplace

=

True

)

테스트 세트 생성에 대해 자세히 설명한 데는 그럴 만한 이유가 있습니다. 종종 등한시되기도

하지만 머신러닝 프로젝트에서 아주 중요한 부분이기 때문입니다. 게다가 이런 아이디어들은

나중에 교차 검증에 대해 이야기할 때 도움이 됩니다. 이제 데이터를 탐색하는 다음 단계로 넘

어갑시다.

2.4

데이터 이해를 위한 탐색과 시각화

지금까지는 다뤄야 할 데이터의 종류를 파악하기 위해 데이터를 간단히 ...