실무로 통하는 LLM 애플리케이션 설계

159

4

장

아키텍처와 학습 목표

4.7.4

더 우수한 학습 목표

연구 결과에 따르면

FLM

으로 훈련된 모델은 생성 작업에서 성능이 더 뛰어나고,

MLM

으로 훈

련된 모델은 분류 작업에서 성능이 더 우수합니다. 하지만 사용 목적에 따라 서로 다른 모델

을 따로 사용하는 것은 비효율적입니다. 이러한 한계를 해결하고자 등장한 것이

UL2

19

입니다.

UL2

는 다양한 학습 목표의 장점을 하나의 모델 안에서 통합할 수 있도록 설계된 새로운 학습

패러다임입니다.

UL2

는

디노이저

혼합

Mixture

of

Denoisers

이라는 단일 패러다임 내에서 전체 언어 모델 (

FLM

), 마스

킹 언어 모델링 (

MLM

), 프리픽스 언어 모델링 (

PrefixLM

)의 효과를 모방합니다. 사용되는 디

노이저들은 다음과 같습니다.

R

-디노이저

R

-

디노이저

R

-

Denoiser

는 규칙적 디노이저로,

T5

의 스팬 손상 작업과 유사합니다. 길이가

2

~

5

토큰인 스팬들

을 단일 마스크 토큰으로 대체합니다. [그림

4

-

14

]는

R

-

디노이저의 작동 방식을 보여줍니다.

원문 텍스트

예측할 토큰:

그림

4-14

UL

2의

R

-디노이저

S

-디노이저

S

-

디노이저

S

-

Denoiser

는 순차적 디노이저로, 프리픽스

LM

과 유사하게 텍스트를 프리픽스와 서픽스로 나눕니

다. 서픽스는 마스킹되고 프리픽스는 양방향 문맥 정보에 접근할 ...