AI를 위한 필수 수학

268

AI

를 위한 필수 수학

7.2

자연어 데이터 준비하기

기계가 자연어를 처리하기 위해서는 가장 먼저 텍스트를 분석하여 의미, 의도, 문맥, 주제, 정

보, 정서를 유지한 채로 틀을 잡아야 한다. 이를 위해 토큰화

tokenizing

, 어간 추출

stemming

(

예

단수

형 단어와 복수형 단어에 동일한 토큰을 부여 ), 표제어 추출

lemmatization

(유사한 의미의 여러 단

어를 함께 연결 ), 대소문자 정규화

case

normalization

(

예

동일한 철자의 대문자와 소문자 단어에 동

일한 토큰을 부여 ) 등의 과정을 거쳐 단어와 숫자 태그 간의 대응관계를 설정해야 한다. 이런

대응관계는 단어를 구성하는 개별 문자가 아니라 의미를 지닌 전체 단어, 단어 한 쌍 또는 그

이상의 단어 (

2

-그램

gram

또는

n

-그램 ), 구두점, 중요한 대문자인 이니셜 등에 적용된다. 이렇

게 하면 주어진 자연어 문서 말뭉치에 해당하는 숫자 토큰의 어휘 또는 어휘집이 생성된다. 이

렇게 만든 어휘 또는 어휘집은 파이썬의 딕셔너리와 유사하다. 자연어의 구성 요소인 각 객체

에는 고유한 토큰이 있게 된다.

n

-그램이란

n

개의 단어가 순서대로 나열된 순서열을 말한다. 이때 각 단어가 홀로 존재할 때

와 다른 의미를 지니게 되는 것이

n

-그램의 특징이다.

2

-그램은 함께 있을 때 의미가 ...