파이썬 라이브러리를 활용한 머신러닝(번역개정판): 사이킷런 핵심 개발자가 쓴 머신러닝과 데이터 과학 실무서

78

파이썬 라이브러리를 활용한 머신러닝(번역개정판)

트 세트에서는

R

2

값이 매우 낮습니다.

In [31]:

print("훈련 세트 점수: {:.2f}".format(lr.score(X_train, y_train)))

print("테스트 세트 점수: {:.2f}".format(lr.score(X_test, y_test)))

Out [31]:

훈련 세트 점수: 0.95

테스트 세트 점수: 0.61

훈련 데이터와 테스트 데이터 사이의 이런 성능 차이는 모델이 과대적합되었다는 확실한 신호

이므로 복잡도를 제어할 수 있는 모델을 사용해야 합니다. 기본 선형 회귀 방식 대신 가장 널리

쓰이는 모델은 다음에 볼

리지

회귀입니다.

리지 회귀

리지

Ridge

도 회귀를 위한 선형 모델이므로 최소적합법에서 사용한 것과 같은 예측 함수를 사용

합니다. 하지만 리지 회귀에서의 가중치 (

w

) 선택은 훈련 데이터를 잘 예측하기 위해서 뿐만

아니라 추가 제약 조건을 만족시키기 위한 목적도 있습니다. 가중치의 절댓값을 가능한 한 작

게 만드는 것입니다. 다시 말해서

w

의 모든 원소가

0

에 가깝게 되길 원합니다. 직관적으로 생

각하면 이는 모든 특성이 출력에 주는 영향을 최소한으로 만듭니다 (기울기를 작게 만듭니다).

이런 제약을 규제

regularization

라고 합니다. 규제란 과대적합이 되지