파이썬 라이브러리를 활용한 머신러닝(번역개정판): 사이킷런 핵심 개발자가 쓴 머신러닝과 데이터 과학 실무서

290

파이썬 라이브러리를 활용한 머신러닝(번역개정판)

롭게 나눠 학습할 수 있으므로 특성의 값을 구간으로 나누는 것이 아무런 득이 되지 않습니다.

다르게 생각하면 결정 트리는 데이터셋에서 예측을 위한 가장 좋은 구간을 학습한다고 볼 수

있습니다. 거기다가 구간 나누기는 특성마다 따로 해야 하지만, 결정 트리는 한 번에 여러 특성

을 살필 수 있습니다. 하지만 선형 모델은 이런 변환으로부터 큰 이득을 얻었습니다.

일부 특성과 출력이 비선형 관계이지만, 용량이 매우 크고 고차원 데이터셋이라 선형 모델을

사용해야 한다면 구간 분할이 모델 성능을 높이는 데 아주 좋은 방법이 될 수 있습니다.

4.5

상호작용과 다항식

특별히 특성을 풍부하게 나타내는 또 하나의 방법은 원본 데이터에

상호작용

interaction

과

다항식

polynomial

을 추가하는 것입니다. 이런 종류의 특성 공학은 통계적 모델링에서 자주 사용하지만

일반적인 머신러닝 애플리케이션에도 많이 적용합니다.

첫 번째 예제로 [그림

4

-

2

]를 다시 보겠습니다. 선형 모델은

wave

데이터셋의 각 구간에 대해 상

숫값을 학습했습니다. 그런데 선형 모델은 이런 절편 외에도 기울기도 학습할 수 있습니다. 선형

모델에 기울기를 추가하는 방법은 구간으로 분할된 데이터에 원래 특성 (이 그림에서

x

축)을 다

시 추가하는 ...