시스템 프롬프트같이 프롬프트에서 일정 부분을 반복할 경우, 반복할 내용을 시작 위치에 적으세요. 오픈
AI
는
GPT
-
4o
계열 모델과
o1
계열 모델은 프롬프트 캐싱
prompt
caching
을 지원합니다(
2024
년
10
월). 프롬프트 캐싱을 지원
하는 모델은 프롬프트의 내용을 확인한 후, 시작 위치부터 내용이 같은 기존 프롬프트를 찾아 해당 프롬프트를 처리한
서버로 라우팅합니다. 이를 통해 비슷한 프롬프트는 저렴하고 빠르게 대응할 수 있습니다. 오픈
AI
는 프롬프트 캐싱이 사
용자의 대기 시간을 최대
80
%까지 줄이고 비용을
50
%까지 줄일 수 있다고 주장했습니다.
4.2
파인 튜닝
오픈
AI
는 바로 사용할 수 있는 다양한
GPT
모델을 제공합니다.
GPT
모델은 폭넓은 작업에서
탁월한 성능을 발휘하지만, 작업이나 상황에 따라 파인 튜닝하면 성능이 더욱 향상됩니다. 파
인 튜닝은 다음과 같은 경우에 효과적입니다.
●
LLM
의 어조와 스타일 조정
●
LLM
이 가진 도메인별 지식에 집중하도록 유도
●
신뢰성 향상 및 할루시네이션 감소
●
프롬프트에서 묘사하기 어려운 복잡한 작업 수행
●
모델의 출력 형식을 변경(예: 자연어에서
JSON
으로)
예시를 통해 파인 튜닝한 모델을 구축하고 사용하는 방법을 알아봅시다.
4.2.1 ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month, and much more.
O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.
Julian F.
Head of Cybersecurity
I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.
Addison B.
Field Engineer
I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.
Amir M.
Data Platform Tech Lead
I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.