실무로 통하는 LLM 애플리케이션 설계

335

11

장

표현 학습과 임베딩

출력 결과는 다음과 같습니다.

[[{‘corpus_id’: 0, ‘score’: 0.8643729090690613},

{‘corpus_id’: 1, ‘score’: 0.6223753690719604}]]

결과에서 첫 번째 문장의 유사도 점수가 훨씬 높으므로 첫 번째 문장을 질의응답으로 반환합

니다.

NOTE

_

대칭적 의미 검색과 비대칭적 의미 검색에는 차이가 있습니다. 대칭적 검색에서는 질의 텍스트가 문서

텍스트와 비슷한 크기입니다. 비대칭적 검색에서는 검색 엔진이나 질의응답 어시스턴트 질의에서처럼 질의 텍스

트가 문서 텍스트보다 훨씬 짧습니다. 일부 모델은 대칭적 검색이나 비대칭적 검색에만 특화되었으며, 질의와 청

크 텍스트를 별도의 모델을 사용해 인코딩하는 모델도 있습니다.

11.3

유사도 측정법

일반적으로 사용되는 유사도 측정법에는 내적, 코사인 유사도, 유클리드 거리

Euclidean

distance

가

있습니다. 배경지식이 필요하다면 유사도 측정법에 관한 파인콘

Pinecone

튜토리얼

7

을 참조하세

요. 임베딩 모델을 사용할 때는 해당 모델을 훈련할 때 사용한 유사도 측정법을 사용하세요. 이

정보는 모델 카드나 허깅 페이스 모델 허브 페이지에서 찾을 수 있습니다.

TIP

encode

()

함수의 인수로

normalize

_