파이토치로 배우는 LLM & AI

158

1

부

모델 구축

# 간단한 토크나이저

from bs4 import BeautifulSoup

# 불용어 리스트는 소스 코드에 정의되어 있습니다.

# 이 리스트는 단어의 배열이며 직접 정의하거나 책의 깃허브에서 구할 수 있습니다.

def tokenize(text):

soup = BeautifulSoup(text, "html.parser")

cleaned_text = soup.get_text() # HTML에서 텍스트 추출

return [word.lower() for word in cleaned_text.split() if word.lower()

not in stopwords]

이제 단어 인덱스를 출력하면 다음과 같습니다.

{'movie': 1, 'not': 2, 'film': 3, 'one': 4, 'like': 5, 'just': 6, "it's": 7,

'even': 8, 'good': 9, 'no': 10, 'really': 11, 'can': 12, 'see': 13, '-': 14,

'get': 15, 'will': 16, 'much': 17, 'story': 18, 'also': 19, 'first': 20

출력이 이전보다 훨씬 정제된 것을 알 수 있습니다. 하지만 항상 개선의 여지가 있으며 인덱스

중에서 이상한 단어도 ...