밑바닥부터 시작하는 데이터 과학 데이터 분석을 위한 파이썬 프로그래밍과 수학·통계 기초

from Scratch

305

󽴜󽴔󻮛󺦫󽴔󼕃󺱋󻭿󺦫

그들은 언어의 축제에서 찌꺼기를 훔쳐왔다.

- 윌리엄 셰익스피어(

William

Shakespeare

)

자연어 처리(

natural

language

processing

,

NLP

)는 언어에 대한 계산적 기술을

의미한다. 광범위한 영역이지만, 여기서는 그중 간단한 것과 복잡한 것 몇 가지

만 살펴보자.

21.1

워드 클라우드

1

장 ‘들어가기’에서 사용자들의 관심사와 관련된 단어의 수를 집계해 봤다. 단어

와 그 개수를 시각화하는 한 가지 방법은 단어의 크기를 단어의 개수에 비례하

도록 보여주는 워드 클라우드이다.

하지만 일반적으로 데이터 과학자들은 워드 클라우드를 선호하지 않는데, “이

곳에 단어를 끼워 넣을 공간이 있네” 정도 말고는 단어의 위치가 어떠한 의미도

가지지 않기 때문이다.

어쩌다가 워드 클라우드를 만들어야만 하는 상황이 온다면 각 축에 어떻게 의

미를 부여할 수 있을지 고민해 보자. 예를 들어 데이터 과학과 연관된 각 유행어

에

0

-

100

사이의 숫자 두 개가 주어졌다고 해보자. 첫 번째 숫자는 채용공고에 등

장한 유행어의 빈도를, 두 번째는 이력서에 등장한 빈도를 의미한다.

data = [ ("big data", 100, 15), ("Hadoop", 95, 25), ("Python", 75, 50),

("R", ...