April 2026
Intermediate
592 pages
13h 28m
Korean
Content preview from 에이전트 시대의 AI 시스템 설계
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.
356
에이전트 시대의 AI 시스템 설계
6.1
패턴
17
: 심판형
LLM
심판형
LLM
패턴은 모델을 비교하고, 개선 사항을 추적하고, 추가 개발 작업의 지침이 되는 상
세하고 다차원적인 피드백을 제공하는 한 방법이다. 완전히 자동화된 지표와 인간의 수동적 평
가 사이의 이상적인 중간 지점에 해당하는 심판형
LLM
은 생성형
AI
시스템에 확장성과 세밀
함을 동시에 갖춘 평가 능력을 제공한다는 점에서 매우 유용한 패턴이다.
6.1.1
문제
이 책에 나오는 패턴 중에는 평가
evaluation
단계가 포함된 것이 많다. 예를 들어
콘텐츠 최적화
(패턴
5
)에서는 두 가지 콘텐츠를 비교하고,
노드 후처리
(패턴
10
)에서는 검색된 청크들을 유
관성에 따라 재순위화한다.
사고 트리
(패턴
14
)에서는 경로들을 평가해서 가장 유망한 것을
선택한다.
지시사항 진화
(패턴
16
)에서는 생성된 예시들을 평가해서 데이터셋의 품질에 악영
향을 미칠 만한 것들을 제거한다.
생성형
AI
를 제대로 활용하려면 효과적인 평가가 필수이다. 평가는 모델의 개선과 정련을 위
한 피드백 루프에 꼭 필요하다. 견고한 평가 방법이 없으면
AI
출력이 기준이나 요구사항을 충
족하는지 판단하기 어렵다. 신뢰할 수 있는 평가 방법은 시스템의 능력과 한계를 입증함으로써
AI
시스템에 대한 사용자의 신뢰를 구축한다. 적절한 평가는 모델을 배포하기 전에 잠재적인
편향, 부정확성, 유해한 출력을 식별하는 데 도움이 된다.
하지만 생성형
AI
시스템의 능력을 평가하기란 쉽지 않다. 애초에 그런 시스템이 ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Read now
Unlock full access
More than 5,000 organizations count on O’Reilly
O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.Julian F.
I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.Addison B.
I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.Amir M.
I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.