정리하자면, 지속적인 개선 사이클을 구축하는 데 필요한 중요한 요소는 빠르고 품질 좋은 평
가기, 프롬프트를 수집하고 관리하는 체계적인 접근법 그리고 포화 상태에 도달할 때까지의 반
복 훈련이다.
2.5.5
참고문헌
이 패턴은 선호도 조정에 의존한다. 하지만 통상적인 용법과는 달리 이 패턴은 선호도 조정을
기초 모델 훈련의 외부에 적용한다. 또한 인간의 피드백이 꼭 필요하지도 않다. 인간 피드백 기
반 강화학습
reinforcement
learning
based
on
human
feedback
(
RLHF
)은
2017
년 크리스티아노
Christiano
등이
도입했으며(
https
://
arxiv
.
org
/
abs
/
1706
.
03741
),
2022
년 어우양
Ouyang
등이
LLM
에 적
용했다(
https
://
arxiv
.
org
/
abs
/
2203
.
02155
).
DPO
를 이용한 선호도 조정은
2023
년
라파일로프
afailov
등이 소개했다(
https
://
arxiv
.
org
/
abs
/
2305
.
18290
).
2.6
요약
이 장에서는 기초 모델이 생성하는 콘텐츠의 스타일을 제어하는 패턴을 살펴보았다. 이 패턴
들은 모델 응답이 확률적이고 가변적일 수 있다는 문제를 다룬다. 이 문제 때문에 후속 애플리
케이션에서 다양한 출력을 일관되게 처리하기 어렵다.
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month, and much more.
O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.
Julian F.
Head of Cybersecurity
I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.
Addison B.
Field Engineer
I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.
Amir M.
Data Platform Tech Lead
I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.