실무로 통하는 LLM 애플리케이션 설계

65

2

장

사전 훈련 데이터

사전 훈련 데이터

2

CHAPTER

1

장에서는 언어 모델을 소개하고, 강점과 한계를 살펴보며, 현재와 잠재적 사용 사례를 탐색하

고, 이 분야의 발전을 좌우하는 것으로 보이는 스케일링 법칙들을 제시했습니다. 앞으로 펼쳐

질 내용을 이해하기 위한 토대를 마련하고자, 다음 세 장에서는

LLM

사전 훈련 방법과 그에 필

요한 구성 요소들을 상세히 다룰 것입니다. 그런데 이 책은 사전 훈련된

LLM

을 활용해 사용자

애플리케이션을 설계하고 구축하는 방법에 관한 내용인데, (대부분의 머신러닝 실무자가 평생

해 볼 일이 없는) 거대한 모델을 처음부터 사전 훈련하는 과정의 세부 내용을 왜 논의해야 할

까요?

사실, 이 정보는 매우 중요합니다. 사전 훈련 과정에서 이루어지는 많은 결정이 성능에 큰 영향

을 미치기 때문입니다. 이어지는 장들에서 볼 수 있듯이, 훈련 과정을 이해하면 실패 유형들을

더 쉽게 파악할 수 있습니다. 마치 마트에서 제품 포장에 표시된 성분 목록을 확인하듯이, 중요

한 애플리케이션에 활용하기 전에 언어 모델을 구성하는 요소들이 무엇인지 알고 싶어 하는 것

은 당연합니다.

NOTE

_

API

를 통해서만 접근할 수 있는 일부 독점

LLM

에 관해서는 공개된 정보가 많지 않습니다. 이 책에서

는 공개적으로 이용 가능한 정보를 최대한 제공할 것입니다. ...