파이토치로 배우는 LLM & AI

236

1

부

모델 구축

# 각 시퀀스의 마지막 원소를 사용하여 레이블을 만듭니다.

labels = [seq[–1:] for seq in sequences]

# [–1:]로 하면 하나의 원소를 가진 리스트가 만들어집니다.

# 리스트 대신에 하나의 숫자를 레이블로 만들려면 다음처럼 할 수 있습니다.

# labels = [seq[–1] for seq in sequences]

return xs, labels

xs, labels = split_sequences(input_sequences)

다음으로 레이블을 인코딩해야 합니다. 지금은 레이블이 그냥 토큰입니다. 예를 들어 [그림

8

-

3

]의 맨 위에 있는

2

와 같습니다. 하지만 토큰을 레이블로 사용하려면 출력 뉴런에 매핑해

야 합니다. 따라서

n

개의 단어를 분류하려면 각 단어가 클래스가 되고

n

개의 뉴런이 필요합니

다. 여기서 어휘 사전의 크기를 결정하는 것이 중요합니다. 왜냐하면 단어가 많을수록 클래스

도 많아야 하기 때문입니다. 패션

MNIST

데이터셋에서 의류 아이템을 분류했던

2

장과

3

장을

떠올려보세요.

10

개의 의류 아이템이 있었기 때문에 출력 층에

10

개의 뉴런이 필요했습니다.

여기에서 어휘 사전에 있는

10

,

000

개의 단어를 예측한다면 어떻게 될까요? 출력 층에

10

,

000

개의 뉴런을 ...