April 2026
Intermediate
592 pages
13h 28m
Korean
Content preview from 에이전트 시대의 AI 시스템 설계
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.
474
에이전트 시대의 AI 시스템 설계
하드웨어 활용률
같은 요청을 반복해서 다시 계산하면 새로운 요청의 처리가 미루어진다. 이는 사용량이 급증하는 상황에서 하드
웨어 조달이 따라주지 않는 스타트업에 특히 문제가 된다. 요청이 급증하는 피크
peak
(최고조 ) 시간대처럼 컴퓨팅
자원이 부족한 시기에는 기존의 성숙한 기업에도 영향을 미칠 수 있다.
사용자 시간
이전에 처리한 적 있는 프롬프트에 대해 미리 계산된 응답을 다시 사용하면 속도가 빨라져서 애플리케이션의 사
용자 경험(
UX
)이 좋아진다. 이렇게 결과를 재사용하면 평균 대기 시간이 줄어드는데, 이는 빠른 반응을 기대하
는 대화형 애플리케이션에서 매우 중요하다. 한 세션에 요청이 여러 개일 때 일부 응답이라도 빨리 제공하면, 사
용자가 문제를 해결하는 데 걸리는 전체 시간을 줄일 수 있다.
하드웨어 비용
시스템이 요청을 다시 계산한다는 것은 애플리케이션에 실제로 필요한 것보다 더 많은 하드웨어 (
GPU
또는
TPU
등 )를 요구하고 있는 것일 수 있다.
이처럼 낭비 심한 재계산을 피할 방법이 있을까?
8.2.2
해법
해법은 반복적인 요청에 대한
LLM
응답을 캐싱하는 것이다. 요청 전체가 정확히 반복되어야
하는 것도 아니다. 요청의 일부만 반복되더라도 프롬프트 캐싱이 효과를 낼 수 있다.
시스템
프롬프트
의미 캐시 ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Read now
Unlock full access
More than 5,000 organizations count on O’Reilly
O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.Julian F.
I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.Addison B.
I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.Amir M.
I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.