April 2026
Intermediate
592 pages
13h 28m
Korean
Content preview from 에이전트 시대의 AI 시스템 설계
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.
472
에이전트 시대의 AI 시스템 설계
는 이 대안은 고정된 배치들을 처리하는 대신 현재 배치에 공간이 생길 때마다 대기열
queue
에서
새 요청을 동적으로 가져온다. 컨텍스트 길이가 다양한 대량의 요청을 처리할 때 특히 효과적
인데,
GPU
활용률을 일관되게 유지해서 표준적인 병렬화보다 지연시간을 훨씬 더 낮출 수 있
다. 하지만 컨텍스트 길이 및
GPU
메모리와 관련한 근본적인 한계는 병렬화와 동일하다. 또한
구현이 쉽지 않아서, 동적 배치 메커니즘을 지원하기 위한 전문적인 배포 인프라가 필요하다.
프롬프트 캐싱
(§
8
.
2
의 패턴
25
)은 같은 요청이 반복되는 애플리케이션에 특히 유연한 지연시
간 최적화 방법이다. 프롬프트와 응답 쌍을 캐시에 담아 두고, 이전에 처리한 적이 있는 프롬프
트에 대해서는 이전 실행 결과를 재사용하는 덕분에 응답에 지연시간이 거의 없다. 새로운 요
청은 여전히 대규모 모델이 긴 시간을 들여서 처리해야 하지만, 자주 받는 요청은 응답이 번개
처럼 빨라진다. 따라서 특정 쿼리가 자주 등장하는 고객 서비스 챗봇이나 코드 완성 도구 같은
애플리케이션에 특히 효과적이다. 캐싱의 효과는 워크로드의 반복성과 직접적인 관련이 있다.
반복되는 쿼리가 많을수록 성능상의 이점이 커진다.
QAT
기술을 채용한 모델들은 모델 효율성과 성능에서 크게 발전했다. 구글의 젬마
3
QAT
모
델(
https
://
oreil
.
ly
/
YaWw6
)로 대표되는
QAT
모델들은 인퍼런스 속도 향상, 메모리 사
용량 감소, 전력 소비 감소 등에서
SLM ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Read now
Unlock full access
More than 5,000 organizations count on O’Reilly
O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.Julian F.
I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.Addison B.
I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.Amir M.
I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.