실무로 통하는 LLM 애플리케이션 설계

160

1

부

LLM의 구성 요소

원문 텍스트

예측할 토큰:

그림

4-15

UL

2의

S

-디노이저

X

-디노이저

X

-

디노이저

X

-

Denoiser

는 극한적 노이즈 제거를 의미하며, 텍스트의 상당 부분(흔히

50

% 이상 )을 마스킹하는

방식입니다. [그림

4

-

16

]은

X

-

디노이저의 작동 방식을 보여줍니다.

원문 텍스트

예측할 토큰:

그림

4-16

UL

2의

X

-디노이저

4.8

사전 훈련 모델

언어 모델의 구성 요소를 자세히 살펴봤으니, 이제 처음부터 모델을 사전 훈련하는 방법을 알

아보겠습니다. 오늘날의 언어 모델은 하나의 모델로 두 가지 개념을 모델링하는 방법을 학습합

니다.

●

언어 자체, 사실, 의견, 감정을 전달하는 수단

●

언어라는 텍스트가 만들어지게 된 근본적인 현상

많은 응용 분야에서는 전자보다 후자를 모델링하는 데 훨씬 더 관심이 있습니다. 언어에 능통

161

4

장

아키텍처와 학습 목표

한 언어 모델도 환영할 만하지만, 과학이나 법률과 같은 도메인과 추론 및 산술과 같은 기술에

서 더 나은 성능을 보이기를 기대합니다.

인간의 언어는 본질적으로 사회적 기능을 수행합니다. 하지만 인간의 언어는 고유하게 ...