파이토치로 배우는 LLM & AI

153

5

장

자연어 처리 소개

있습니다. 하지만 이 방식을 사용할 때 주의해야 합니다. 구두점이 감정 감지와 같은

NLP

분석

에 영향을 미칠 수 있기 때문입니다.

이 라이브러리는

string

.

punctuation

으로 일반적인 구두점 목록을 제공하기 때문에 다음 코

드로 단어에서 구두점을 제거할 수 있습니다.

import string

table = str.maketrans('', '', string.punctuation)

words = sentence.split()

filtered_sentence = ""

for word in words:

word = word.translate(table)

if word not in stopwords:

filtered_sentence = filtered_sentence + word + " "

sentences.append(filtered_sentence)

여기서 불용어를 제거하기 전에 문장에 있는 각 단어에서 구두점을 삭제했습니다. 문장을 나누

어 ‘

it

;

’과 같은 단어가 나왔다면 ‘

it

’으로 변환된 다음 불용어로 제거됩니다. 하지만 이런 작업

을 할 때 불용어 목록을 업데이트해야 할 수도 있습니다. 이 목록에는 보통 ‘

you

'

ll

’ 같은 축약

형이 포함됩니다.

translate

함수는 ‘

you

'

ll

’을 ‘

youll

’로 바꾸므로 ...