많이 유발한다는 사실을 밝혔습니다. 샘플링 단계가 더 많은 무작위성을 초래해 때로는 잘못된
토큰이 선택되므로 예상할 수 있는 결과입니다.
샘플링 알고리즘으로 인해 증가된 환각 위험을 해결하는 방법 중 하나는 해당 연구진이 소개한
사실적-뉴클리어스 샘플링
factual
-
nucleus
sampling
과 같은 기법을 사용하는 것입니다. 이 기법은 생
성된 시퀀스의 길이가 길어질수록 다음 토큰 생성을 위한 유효한 후보 토큰이 더 적어진다는
관찰에 기반합니다. 따라서
top
-
p
디코딩 알고리즘에서
p
값을 줄임으로써 생성된 텍스트의
길이가 증가함에 따라 샘플링 알고리즘의 무작위성이 감소합니다.
공식은 다음과 같습니다.
여기서
t
는 생성 단계를 가리킵니다. 조정 가능한 세 가지 파라미터가 있습니다.
●
감쇠율(
λ
): 알고리즘의
p
값은 생성의 모든 단계에서 감쇠율에 따라 줄어듭니다.
●
재설정(
p
):
p
값이 매우 ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month, and much more.
O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.
Julian F.
Head of Cybersecurity
I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.
Addison B.
Field Engineer
I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.
Amir M.
Data Platform Tech Lead
I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.