실무로 통하는 LLM 애플리케이션 설계

243

7

장

고급 파인 튜닝 기법

LLM

이 생성하는 텍스트는 지금까지 생성된 출력과 프롬프트에 따라 조건화됩니다. 여기에

LLM

이 주목할 수 있는 추가 컨텍스트를 이러한 프리픽스 벡터 형태로 추가합니다. 입력에 접

두어로 붙는 이 새로운 토큰들을 가상 토큰

virtual

token

이나 소프트 프롬프트라고 합니다.

[그림

7

-

3

]은 트랜스포머에서 프리픽스 튜닝이 어떻게 이루어지는지 보여줍니다.

그림에서 볼 수 있듯이, 프리픽스 파라미터는 각 층에 추가됩니다. 프리픽스 튜닝은 병목 어댑

터보다 훨씬 더 파라미터 효율적이며, 일반적으로

2

% 이상인 어댑터와 비교해 모델 파라미터

의

0

.

1

% 이하만 차지합니다. 그러나 프리픽스 튜닝은 어댑터보다 효과적으로 훈련하기가 더

어렵습니다. 또한 프리픽스 튜닝은 가상 토큰을 수용하기 위해 모델의 시퀀스 길이를 줄여야

합니다.

어댑터와 마찬가지로, 초기화는 프리픽스 튜닝에서 매우 중요합니다. 가상 토큰은 모델이 파인

튜닝되는 작업과 관련된 단어를 선택해 초기화할 수 있습니다.

어댑터 라이브러리를 사용해 프리픽스 튜닝을 구현할 수 있습니다.

from adapters import PrefixTuningConfig

adapter_config = PrefixTuningConfig()

model.add_adapter(“prefix_tuning”, ...