실무로 통하는 LLM 애플리케이션 설계

383

12

장

검색 증강 생성(RAG)

문서의 각 문장에 대한 임베딩을 생성함으로써 수행됩니다. 임베딩 공간에서 입력 질의와 가장

유사한 상위

k

개 문장이 요약으로 선택됩니다. 임베딩 거리는

LLM

이 올바른 출력을 생성하게

하는 데 있어서 해당 문장이 얼마나 효과적인지를 측정합니다.

추출 요약기는

11

장에서 알아본 대조 학습으로 훈련됩니다. 대조 학습의 각 훈련 예시는 앵커

문장, 앵커 문장과 유사한 긍정 예시, 앵커 문장과 다른 부정 예시로 구성됩니다. 훈련 예시를

생성하기 위해, 검색된 문서의 각 문장을 입력 질의 앞에 프리픽스로 붙이고 정답 출력 토큰이

생성될 확률인 가능도를 계산합니다. 가능도가 가장 높은 문장을 긍정 예시로 취합니다. 부정

예시로는 가능도가 임곗값 아래인 최대

5

개의 문장을 선택합니다. 이 데이터셋이 모델을 훈련

하는 데 사용됩니다.

생성적 요약에서는 더 큰

LLM

을 증류할 수 있습니다. 즉, 큰

LLM

의 출력을 사용해 더 작은

LLM

을 파인 튜닝합니다.

훈련 데이터셋을 생성하려면 몇 가지 프롬프트 템플릿을 구성하고 이를 큰

LLM

과 함께 사용해

검색된 문서들의 제로샷 요약을 생성할 수 있습니다. 모든 검색된 문서의 단일 요약을 생성한

다는 점에 주목하세요. 추출 요약 기법과 유사하게, 생성된 각 요약을 입력 텍스트 앞에 프리픽 ...