AI 에이전트: 결정판 가이드 (Korean Edition)

제11장. 연산에서 비용으로: 효율적인 에이전트 기반 시스템 설계

이 작품은 AI를 사용하여 번역되었습니다. 여러분의 피드백과 의견을 환영합니다: [e-mail]

『 』 소개 향후 몇 년 동안 에이전트 기반 AI 프로젝트의 40%가 취소될 가능성이 있습니다. 모델의 성능이 부족해서가 아니라, 시스템 운영비용이 너무 비싸지거나 실제 비즈니스 가치로 이어지지 않기 때문입니다. 가트너(Gartner) 와 같은 기관의 추정치도 이미 이러한 추세를 시사하고 있습니다.

이 책을 통해 여러분은 에이전트가 반복적 추론, 도구 호출, 다단계 조정을 통해 작동한다는 사실을 배웠습니다. 이는 에이전트의 큰 강점이기도 하지만, 동시에 가장 큰 약점이기도 합니다. 단계가 하나 추가될 때마다 지연 시간과 비용이 증가합니다. 단일 상호작용에서는 사소해 보이는 문제도 시스템이 대규모로 운영되면 심각한 문제가 됩니다.

이 문제가 어떻게 누적되는지 이해하려면, 작업을 올바르게 수행하기 위해 재시도에 의존하는 가장 취약한 에이전트를 생각해 보십시오. 해당 에이전트의 성공률이 60%이지만, 이를 거의 확실한 수준으로 끌어올리고 싶다면 여러 번의 재시도가 필요합니다. 다음 계산은 각 재시도가 독립적인 사건이라고 가정합니다. “Instructor: 도구 수준이 아닌 실패 수준에서 생각하기”에서 보셨듯이 , Instructor나 LangGraph와 같은 프레임워크는 각 시도를 이전 실패에 따라 조건부로 처리하여 성공 확률을 높일 수 있습니다. 그러나 이러한 개선은 명시적인 피드백 루프와 추가적인 컨텍스트의 결과이며, 여전히 단계당 더 많은 토큰 비용이 듭니다:

$$\begin{array}{c}\hfill p=0.60\\ \hfill 1-p=0.40\\ \hfill n=5\\ \hfill p^{*}=1-(1-0.60{)}^5=1-(0.40{)}^5=1-0.01024=0.98976\end{array}$$

바로 이 지점에서 많은 시스템이 무너집니다. 정확도 문제가 아니라 경제성 문제 때문입니다. 성공률을 99%로 높이려면 토큰 비용 예산을 5배나 늘려야 하기 때문입니다. 이것이 바로 비용을 나중에 최적화할 수 없는 이유입니다. 비용은 처음부터 존재하는 시스템 제약 조건이며, 이를 고려하여 설계하지 않으면 시스템이 실제 운영 환경에서 버티지 못할 것입니다.

이 장은 바로 그 점에 초점을 맞춥니다. 이 장을 통해 다단계 증폭, prompt 캐싱, 어텐션 커널, 배포 토폴로지, 출력 메모이제이션 등 에이전트 기반 시스템의 주요 비용 요인에 대한 직관을 기를 수 있습니다. 실제 시스템에서 이를 추정해 본 적이 있다면, 단일 호출 가정을 벗어나자마자 문제가 얼마나 빨리 해결하기 어려워지는지 잘 알고 계실 것입니다. 그렇기 때문에 다음 섹션에서는 추론 단계와 도구 호출 수준에서 비용을 세분화하는 방법과, 캐싱 및 시스템 설계를 통해 이를 제어하는 방법을 배우게 될 것입니다.

이 장을 마치면, 확장되는 KV 캐시를 관리하는 데 하이브리드 어텐션이 왜 중요한지, 그리고 초기 연산 비용은 더 들더라도 더 고성능의 GPU에 투자하여 최신 FlashAttention 변형을 활용하면 전체 시스템 ...