195
3
장
지식 추가: 기본
3.2.4
고려사항
의미 기반 색인화 는 범용 임베딩 모델로 임베딩들을 미리 계산해서 벡터 저장소에 저장한다.
인퍼런스 (생성 ) 단계에서는 프롬프트와 가장 유사한 임베딩을 가진 청크를 프롬프트 문맥에
추가한다.
대안
범용 임베딩 모델 대신 특정 도메인에 특화된
domain
-
specific
모델을 사용할 수도 있다. 예를 들어
전체 지식 베이스가
PDF
파일 하나로만 구성되어 있다면, 문서 전체를 프롬프트에 넣으면 그
만이다.
도메인 특화 임베딩 모델
의료 (
https
://
oreil
.
ly
/
cz9o3
), 법률 (
https
://
oreil
.
ly
/
nrx4S
), 금융 (
https
://
oreil
.
ly
/
Qtb3U
) 등 특정 산업 분야의 문헌으로 사전훈련된 임베딩 모델을 사용하면 검색
정밀도와 지연시간을 극적으로 개선할 수 있다. 이런 도메인 특화 모델은 범용 모델이 놓칠 수
있는 도메인 고유의 전문 용어나 관계, 뉘앙스를 포착한다. 예를 들어 의료 임베딩 모델은 ‘
MI
’
가 ‘심근경색
myocardial
infarction
’임을 이해하고 관련 심장 용어들을 올바르게 클러스터링한다. 따라
서 도메인 특화 임베딩 모델은 임베딩 차원 수를 줄여서 최적화할 수 있다. 벡터의 차원이 낮으
면 유사도 계산이 더 빨라지므로, 결과적으로 프로덕션 환경의 지연시간이 개선된다.
청킹 대 대규모 컨텍스트 창
이 글을 쓰는 시점에는 컨텍스트 창이 최대
20
만 토큰인
LLM
이 드물지 않다. 그 정도면
500
페
이지에 달하는 문서도 하나의 프롬프트에 ...