실무로 통하는 LLM 애플리케이션 설계

378

3

부

LLM 애플리케이션 활용 패러다임

연습 문제 ●●●

all

-

mpnet

-

base

-

v2

와 같은 이진 인코더 모델과

jina

-

colbert

-

v2

21

와 같은 크로스 인코더

모델의 성능을 비교해 보세요. 아이폰 관련 위키백과 페이지

22

의 임베딩을 생성한 후, 다양한 질

의를 던지면서 두 방식의 응답 품질을 비교해 보세요. 어떤 유형의 질의에서 크로스 인코더 방식

이 명확하게 더 나은 성능을 보이나요?

다음으로 몇 가지 고급 리랭커 기법을 살펴보겠습니다.

질의

가능도

모델

(QLM)

질의 가능도 모델

query

likelihood

model

(

QLM

)은 후보 문서를 입력으로 주었을 때 질의가 생성될 확

률을 추정합니다.

LLM

을

QLM

으로 다룰 수 있으며, 제로샷 능력을 활용해 질의 토큰 확률을

기반으로 후보 문서들의 순위를 매길 수 있습니다. 또는

LLM

을 질의 생성 작업에 파인 튜닝해

더 효과적인

QLM

으로 만들 수도 있습니다.

QLM

의 일반적인 프롬프트는 다음과 같습니다.

주어진 문서 <문서 내용>와 가장 관련성이 높은 질문을 생성하세요.

검색 단계에서 질의와 관련된 상위

k

개 문서를 가져와 각 문서를 이 프롬프트와 함께

LLM

에

입력합니다. 다음으로 모델 로짓을 사용해 질의 토큰의 가능도

likelihood

가 계산됩니다. 문서들은

가능도에 따라 정렬되어 관련성 ...