핸즈온 LLM

49

1

장

대규모 언어 모델 소개

1.3

‘대규모 언어 모델’의 정의

언어

AI

의 최근 역사를 살펴보면 주로 디코더 기반의 (트랜스포머) 생성 모델을 일컬어

대규모

언어 모델

large

language

model

이라 합니다. 특히 규모가 큰 모델일 때 그렇습니다. 실제로 이런 설명

은 다소 제한적입니다.

GPT

-

3

와 동일한 성능을 내지만

10

배나 작은 모델을 만들었다면 어떨까요? 이런 모델이 대규

모 언어 모델 범주 밖에 있을까요?

비슷하게 텍스트 분류를 정확하게 수행하지만 텍스트 생성 기능은 없는

GPT

-

4

크기의 모델

을 출시했다면 어떨까요? 핵심 기능이 언어 생성이 아니지만 텍스트 표현을 다루는 모델이 대

규모 언어 모델이 아닐까요?

이런 식의 정의는 유능한 모델을 제외한다는 점에서 문제가 됩니다. 모델에 어떤 이름을 붙이

든 모델의 동작이 바뀌지는 않습니다.

‘대규모 언어 모델’이란 용어의 정의는 새로운 모델이 출시됨에 따라 진화합니다. 따라서 이 책

에서 언급하는 대규모 언어 모델이 어떤 의미인지 정확히 밝히겠습니다. ‘대규모’라는 용어의

정의는 임의적이므로 오늘날 대규모 모델이라고 간주되는 것이 미래에 소규모로 생각될 수 있

습니다. 동일한 것을 가리키는 이름이 많이 있습니다. 우리에게는 텍스트를 생성하지 않고 사

용자의 하드웨어에서 실행할 수 있는 모델도 ‘대규모 언어 모델’에 속합니다.

따라서 이 책은 생성 모델 외에

10

억 개 이하의 파라미터를 가지고 텍스트를 생성하지 않는 모

델도 다룹니다. 임베딩 모델, 표현 모델,

BoW

같은 ...