실무로 통하는 LLM 애플리케이션 설계

398

3

부

LLM 애플리케이션 활용 패러다임

리우 연구진

42

은 외부 반사실적 지식에 대한 견고성

Robustness

against

External

CounterfactuAL

knowLedge

(

RECALL

)이라는 벤치마크를 도입했습니다. 이 벤치마크는 프롬프트에 반사실적 정보가 있을

때

LLM

의 견고성을 테스트합니다. 연구진은 논리적으로 모순된 정보가 제공될 때

LLM

은 내부

표현에 더 의존하는 경향이 있다고 언급합니다. 하지만 사실적으로 모순된 정보가 제공될 때는

프롬프트의 정보를 선호하는 경향이 있습니다.

이 논문의 중요한 발견은 모순되는 정보를 다룰 때 모델의 출력에 대한 신뢰도가 현저히 떨어진

다는 것입니다. 따라서

LLM

출력 확률을 사용해 추가적인 별도 처리를 유도할 수 있습니다.

12.9

RAG

대 긴 컨텍스트

5

장에서 논의했듯이,

LLM

의 한계 중 하나는 처리할 수 있는 컨텍스트 윈도의 크기가 한정되어

있다는 것입니다. 하지만 이 분야에서는 최근 급속한 발전이 이루어졌습니다.

2023

년 초까지

는 수천 개 토큰의 컨텍스트 윈도가 표준이었다가, 앤트로픽

43

과 같은 회사들이

10

만 개 이상

의 토큰에 걸친 컨텍스트 윈도 지원을 발표했습니다.

2024

년 초에 구글은

100

만 개 토큰의 컨

텍스트를 지원하는

Gemini

1

.

5

Pro

44

를 발표했습니다. ...