
65
2
장
사전 훈련 데이터
사전 훈련 데이터
2
CHAPTER
1
장에서는 언어 모델을 소개하고, 강점과 한계를 살펴보며, 현재와 잠재적 사용 사례를 탐색하
고, 이 분야의 발전을 좌우하는 것으로 보이는 스케일링 법칙들을 제시했습니다. 앞으로 펼쳐
질 내용을 이해하기 위한 토대를 마련하고자, 다음 세 장에서는
LLM
사전 훈련 방법과 그에 필
요한 구성 요소들을 상세히 다룰 것입니다. 그런데 이 책은 사전 훈련된
LLM
을 활용해 사용자
애플리케이션을 설계하고 구축하는 방법에 관한 내용인데, (대부분의 머신러닝 실무자가 평생
해 볼 일이 없는) 거대한 모델을 처음부터 사전 훈련하는 과정의 세부 내용을 왜 논의해야 할
까요?
사실, 이 정보는 매우 중요합니다. 사전 훈련 과정에서 이루어지는 많은 결정이 성능에 큰 영향
을 미치기 때문입니다. 이어지는 장들에서 볼 수 있듯이, 훈련 과정을 이해하면 실패 유형들을
더 쉽게 파악할 수 있습니다. 마치 마트에서 제품 포장에 표시된 성분 목록을 확인하듯이, 중요
한 애플리케이션에 활용하기 전에 언어 모델을 구성하는 요소들이 무엇인지 알고 싶어 하는 것
은 당연합니다.
NOTE
_
API
를 통해서만 접근할 수 있는 일부 독점
LLM
에 관해서는 공개된 정보가 많지 않습니다. 이 책에서
는 공개적으로 이용 가능한 정보를 최대한 제공할 것입니다. ...