실무로 통하는 LLM 애플리케이션 설계

338

3

부

LLM 애플리케이션 활용 패러다임

11.4

임베딩 모델 파인 튜닝

센텐스 트랜스포머 라이브러리는

SentenceTransformerTrainer

클래스

11

로 임베딩 모델 파

인 튜닝을 용이하게 합니다. 임베딩 모델을 파인 튜닝하려면 파인 튜닝할 기본 모델, 훈련 데이

터셋, 학습 목표가 필요합니다.

11.4.1

기본 모델

all

-

mpnet

-

base

-

v2

처럼 이미 파인 튜닝된 모델을 파인 튜닝할 수도 있고,

all

-

mpnet

-

base

-

v2

가 정의된 기반인

MPNet

같은 기본 모델을 파인 튜닝할 수도 있습니다. 기본 모델을

파인 튜닝하려면 이미 파인 튜닝된 모델을 추가로 파인 튜닝할 때보다 더 많은 훈련 데이터가

필요합니다. 파인 튜닝에 적합한 다른 후보 모델로는

BGE

-

M3

12

와

jina

-

embeddings

-

v3

13

가 있습니다. 센텐스 트랜스포머를 통해 이용할 수 있는 모델의 전체 목록은 온라인

14

에서 확

인할 수 있습니다. 상업적 목적으로 사용하려면 해당 모델의 라이선스를 확인해야 합니다.

기본 모델을 선택할 때 염두에 둘 요소들로는 기본 모델의 성능, 임베딩 모델의 크기(모델이

텍스트를 얼마나 빠르게 인코딩하는지를 결정함), 모델의 차원 수 (임베딩이 차지하는 저장 공

간을 결정함 ), 라이선스 영향 등이 있습니다.

MPNet

이나

all

-

mpnet ...