사전 훈련 설정에 따라 훈련 문서는 종종 청크로 나뉩니다. 그러나 이러한 문서 분할은 텍스트를
이해하는 데 필요한 문맥을 제거할 수 있습니다. 연구진은 문서 청크의 사실과 그 사실들이 연관
된 엔티티 간의 연결을 보존하기 위해 청크 앞에 주제 식별자를 추가하는 것을 제안합니다.
사전 훈련 중에는 시퀀스에서 생성된 모든 토큰에 손실이 균일하게 적용됩니다. 그러나 연구진
은 시퀀스 끝부분의 토큰이 사실성에 더 중요하다고 관찰합니다. 이는 끝부분의 내용이 이전에
생성된 내용에 의존하기 때문입니다. 따라서 연구진은 생성된 시퀀스의 후반부에 대해서만 손실
을 계산하는 문장 완성 손실
sentence
completion
loss
을 제안합니다.
8.5
인컨텍스트 환각
지금까지는 모델이 파라미터 메모리에서 생성하려는 시도에서 발생하는 환각에 초점을 맞췄습
니다. 하지만 인컨텍스트 환각
in
-
context
hallucination
, 즉 폐쇄형 환각
closed
-
book ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month, and much more.
O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.
Julian F.
Head of Cybersecurity
I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.
Addison B.
Field Engineer
I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.
Amir M.
Data Platform Tech Lead
I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.