231
4
장
GPT-4o 및 챗GPT 활용 고급 기법
는 점을 느꼈을 것입니다. 단어나 문장의 순서, 심지어 구두점을 바꾸는 정도로도 결과에 큰 영
향을 미칩니다. 이를 관리하려면 두 가지 전략을 결합해야 합니다.
●
프롬프트 추적 : 깃 같은 버전 관리 시스템이나 데이터베이스, 정 안되면 엑셀 시트를 이용해서라도 프로
젝트의 빌드 단계 동안 프롬프트의 변화를 계속 추적하는 것을 강력히 권장합니다. 애플리케이션 성능이
저하될 경우 이전의 프롬프트로 되돌려야 하기 때문입니다. 프롬프트푸(
https://oreil.ly/WNCh2
)
를 사용해도 좋고,
W
&
B
(
https://bit.ly/4hlvH2S
)와 같은 여러 실험 추적 도구가 지원하는 프롬
프트 버전 관리 도구를 출시했습니다.
●
결과 측정 : 애플리케이션이 복잡해지면 성공 여부를 느낌에만 의존할 수 없습니다. 프롬프트의 성능
을 정량화하고, 설계 중인 솔루션의 사용 사례를 포함하는 다양한 시나리오로 벤치마크 테스트를 실
행해야 합니다. 정확성, 관련성, 일관성, 창의성, 완전성 등을 기준으로 지표를 정의하세요. 라가스
ragas
(
https://oreil.ly/WZUHL
)는 이와 같은 상황에서 사용하기 좋습니다. 프롬프트뿐만 아니라 검
색, 생성, 종단 간 평가,
RAG
중심 지표 등 다양한 지표를 제공합니다.
4.5.2
비결정성
오픈
AI
API
호출에 결정성을 보장할 방법은 아직 없습니다(
2024
년
11
월).
2
장에서 보았듯
이,
top
_
p
와
temperature
매개변수를
0
으로 설정하면