실무로 통하는 LLM 애플리케이션 설계

107

3

장

어휘와 토큰화

어휘와 토큰화

3

CHAPTER

2

장에서는 오늘날 언어 모델을 훈련시키는 데 사용되는 데이터셋과 그 생성 과정을 깊이 살펴

봤습니다. 이러한 탐구를 통해 사전 훈련 데이터가 최종 모델에 얼마나 강력한 영향을 미치는

지 잘 이해하셨기를 바랍니다. 이번 장에서는 언어 모델의 또 다른 핵심 구성 요소인 어휘에 관

해 논의하겠습니다.

3.1

어휘

새로운 언어를 배우기 시작할 때 가장 먼저 하는 일은 무엇인가요? 바로 그 언어의 어휘를 습

득하고 언어 능력이 향상됨에 따라 어휘력을 확장해 나가는 것입니다. 여기서 어휘를 다음과

같이 정의해 보겠습니다.

특정 개인이 이해하는 언어 내 모든 단어

평균적인 영어 원어민은

20

,

000

~

35

,

000

개 정도의 단어 어휘

1

를 압니다. 이와 마찬가지로, 모

든 언어 모델에도 자체 어휘가 있으며 대부분의 모델 어휘 크기는

5

,

000

개에서

500

,

000

개 토

큰 사이에 분포합니다.

1

https

://

oreil

.

ly

/

bkc2C

108

1

부

LLM의 구성 요소

예를 들어

GPT

-

NeoX

-

20B

모델의 어휘를 살펴보겠습니다.

tokenizer

.

json

파일 ...