파이썬 라이브러리를 활용한 머신러닝(번역개정판): 사이킷런 핵심 개발자가 쓴 머신러닝과 데이터 과학 실무서

7

장

텍스트 데이터 다루기

429

터셋만 보고 불용어를 골라내기 어려운 작은 데이터셋에서나 도움이 됩니다. 다른 방식으로

CountVectorizer

의

max

_

df

옵션을 지정하여 자주 나타나는 단어를 제거하고, 특성의 개수

와 성능에 어떻게 영향을 주는지 연습해보세요.

16

7.5

tf

–

idf

로 데이터 스케일 변경하기

중요하지 않아 보이는 특성을 제외하는 대신, 얼마나 의미 있는 특성인지를 계산해서 스케일을

조정하는 방식이 있습니다. 가장 널리 알려진 방식은

tf-idf

term

frequency

-

inverse

document

frequency

, 단어빈

도-역문서빈도

입니다.

tf

-

idf

는 말뭉치의 다른 문서보다 특정 문서에 자주 나타나는 단어에 높은 가

중치를 주는 방법입니다. 한 단어가 특정 문서에 자주 나타나고 다른 여러 문서에서는 그렇지

않다면, 그 문서의 내용을 아주 잘 설명하는 단어라고 볼 수 있습니다.

scikit

-

learn

은 두 개의

파이썬 클래스에

tf

-

idf

를 구현했습니다.

TfidfTransformer

는

CountVectorizer

가 만든 희

소 행렬을 입력받아 변환합니다.

TfidfVectorizer

는 텍스트 데이터를 입력받아

BOW

특성 추

출과

tf

-

idf

변환을 수행합니다.

17

tf

-

idf

스케일 변환 방식은 여러 변종이 있으니 위키백과를 ...