이 다시 나타날 확률을 낮춘다. 이는 같은 문구가 여러 번(심지어는 무한히) 반복해서 나오는
루프를 방지하는 데 도움이 된다. 다음은 반복 벌점에 속하는 벌점들이다.
•
빈도 벌점
frequency
penalty
: 같은 단어나 문구가 반복해서 나오는 횟수에 비례해서 벌점이 커진다.
•
출현 벌점
presence
penalty
: 같은 단어나 문구가 단 한 번이라도 반복해서 나오면 동일한 벌점이 적용된다. 따라
서 모델이 좀 더 다양한 토큰들로 텍스트를 생성하게 만드는 효과를 낸다.
다음으로
길이
length
에 대한 벌점들은 시퀀스의 길이에 따라 점수를 조정한다. 길이 벌점들로는
다음과 같은 것들이 있다.
•
최소 길이 벌점
minimum
length
penalty
: 모델이 최소한 특정 개수 이상의 토큰을 생성하도록 강제한다.
•
최대 길이 벌점
maximum
length
penalty
: 지정된 길이를 넘기면 생성을 끝낸다.
•
길이 정규화 벌점
length
normalization
penalty
: 시퀀스 점수를 해당 시퀀스 길이의 함수로 나눈다. 모델이 짧은 시퀀
스를 선호하는 편향을 방지한다.
벌점들 외에, 빔 탐색의
너비
width
도 빔
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month, and much more.
O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.
Julian F.
Head of Cybersecurity
I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.
Addison B.
Field Engineer
I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.
Amir M.
Data Platform Tech Lead
I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.