고유 명사나 날짜와 같은 항목을 마스킹하고, 모델이 검색된 컨텍스트를 바탕으로 이를 예측하도록 학습합
니다.
●
마스킹된 모든 토큰이 외부 지식이 있어야 예측 가능한 것은 아닙니다. 이를 고려해 항상 빈 문서를 검색 결과
에 포함합니다.
●
검색된 문서는 마스킹된 토큰 자체가 아닌 해당 토큰을 예측하는 데 필요한 컨텍스트를 포함해야 하므로 마스
킹된 토큰이 그대로 들어 있는 검색 결과는 제외됩니다.
12.8
RAG
의 한계
RAG
는
LLM
의 유용성을 확장하고 환각을 줄이는 강력한 패러다임이지만,
LLM
의 모든 한계
를 해결하지는 못합니다.
RAG
사용의 몇 가지 함정은 다음과 같습니다.
●
텍스트 단편 검색에 의존하므로 문제에 대한 깊은 이해보다는 표면적인 정보에 근거해 답변하는 경향이 있습
니다.
●
파이프라인의 병목 지점이 검색 단계가 될 수 있습니다. 적절한 문서를 검색하지 못하면
LLM
의 강력한 생성
능력도 무용지물이 됩니다.
●
검색된 문서가
LLM
내부 파라미터에 저장된 지식과 상충되기도 합니다. 정답에 접근할 수 없는 경우,
LLM
은
이런 모순을 해결하기 어렵습니다.
LLM
이 모순된 정보를 다루는 방법
LLM
이 내부적으로 보유한 표현과
RAG
를 통해 검색된 외부 정보 간에 모순이 발생할 수 있습니
다. 그 ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month, and much more.
O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.
Julian F.
Head of Cybersecurity
I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.
Addison B.
Field Engineer
I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.
Amir M.
Data Platform Tech Lead
I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.