파이토치로 배우는 LLM & AI

240

1

부

모델 구축

하지만 텍스트를 생성할 때 이전에 본 적 없는 단어가 계속 나오므로 정확도가 높음에도 불구

하고 신경망이 금방 이상한 텍스트를 만들게 됩니다. 다음 절에서 이에 대해 살펴보겠습니다.

8.3

텍스트 생성하기

여기까지 시퀀스의 다음 단어를 예측하는 신경망을 훈련했습니다. 다음 단계로 텍스트 시퀀스

를 주입하고 다음 단어를 예측해 봅니다.

8.3.1

다음 단어 예측하기

먼저 시드 텍스트를 위한 구절을 만들어야 합니다. 시드 텍스트는 신경망이 생성하는 콘텐츠의

기반이 되는 초기 표현입니다. 신경망은 시드 텍스트의 다음 단어를 예측해 콘텐츠를 생성할

것입니다.

신경망이 이미 본 문장 ‘

In

the

town

of

Athy

’로 시작해 보죠.

seed_text = "In the town of Athy"

그다음 이를 토큰화해 훈련에 사용할 수 있도록 동일 길이의 토큰 시퀀스로 변환합니다.

# 텍스트를 소문자로 바꾸고 단어로 분할합니다.

words = input_text.lower().strip().split()

# 단어 딕셔너리를 사용해 단어를 숫자로 변환합니다. 0은 알지 못하는 단어입니다.

number_sequence = [word_dict.get(word, 0) for word in words]

# 시퀀스를 패딩합니다.

padded_sequence ...