
325
10
장
LLM과 외부 도구의 인터페이스
구조
미리 결정된 요약의 구조 (섹션과 하위 섹션)를 명시했다면, 요약에 원하는 섹션과 하위 섹션 제목이 있는지
확인해 구조가 준수되었는지 쉽게 식별할 수 있습니다. 또한 임베딩 유사성 기법으로 섹션과 하위 섹션의 내
용이 각각의 제목에 적합한지 검증할 수 있습니다.
형식
내용이 적절한 형식인지 확인합니다. 예를 들어 글머리 기호 목록인지, 유효한
JSON
객체인지 확인합니다.
순서
원하는 순서는 시간순, 알파벳순, 도메인/작업별 순서일 수 있습니다. 시간순이어야 한다면 요약에서 날짜를
추출하고 요약이 시간순으로 정렬되었는지 확인해 검증할 수 있습니다. 순서 요구 사항이 더 복잡하다면 순
서 준수 검증은 극히 어려운 작업이 될 수 있습니다.
TIP
검증 프로세스가 요약 모델보다 엄격하고 더 나을 것이라고 기대하지 마세요. 그렇다면 검증 프로세스를 사용
해 요약을 생성할 수 있었을 것입니다.
SAT
(불리언 충족 가능성
boolean
satisfiability
)
25
솔버와 논리 플래너와 같은 심볼릭 검증기도 배포
할 수 있습니다. 이런 검증은 이 책의 범위를 넘어섭니다.
연습 문제 ●●●
이전 연습 문제에서 살펴본 작업(캐나다 의회 회의록 질의응답 어시스턴트)과 관련해, 식별한 각
기준에 대한 검증 모듈을 어떻게 구축할까요? ...