핸즈온 머신러닝(2판): 사이킷런, 케라스, 텐서플로 2를 활용한 머신러닝, 딥러닝 완벽 실무

241

6

장

결정 트리

규제 없음

그림

6-6

결정 트리 회귀 모델의 규제

6.9

불안정성

아마 결정 트리가 장점이 많다는 것을 알게 되었을 것입니다. 결정 트리는 이해하고 해석하기

쉬우며, 사용하기 편하고, 여러 용도로 사용할 수 있으며, 성능도 뛰어납니다. 하지만 몇 가지 제

한 사항이 있습니다. 눈치 챘을지 모르겠지만 결정 트리는 계단 모양의 결정 경계를 만듭니다

(모든 분할은 축에 수직입니다 ). 그래서 훈련 세트의 회전에 민감합니다. [그림

6

-

7

]은 간단한

선형으로 구분될 수 있는 데이터셋을 예로 보여줍니다. 왼쪽의 결정 트리는 쉽게 데이터셋을 구

분하지만, 데이터셋을

45

°

회전한 오른쪽의 결정 트리는 불필요하게 구불구불해졌습니다. 두 결

정 트리 모두 훈련 세트를 완벽하게 학습하지만 오른쪽 모델은 잘 일반화될 것 같지 않습니다.

이런 문제를 해결하는 한 가지 방법은 훈련 데이터를 더 좋은 방향으로 회전시키는

PCA

기법을

사용하는 것입니다 (

8

장 참조 ).

242

1

부

머신러닝

그림

6-7

훈련 세트의 회전에 민감한 결정 트리

결정 트리의 주된 문제는 훈련 데이터에 있는 작은 ...