에이전트 시대의 AI 시스템 설계

495

8

장

제약 조건 해결

8.4.2

해법

몇 가지 핵심 지표를 모니터링하고 적절히 조치하면 성능 저하를 방지할 수 있다. 모니터링과

더불어 체계적인 테스트를 수행하여 시스템이 확장성과 탄력성을 유지하는지 검증해야 한다.

핵심 지표

LLM

서빙 성능을 평가하는 가장 중요한 지표는

TTFT

(첫 토큰 생성 시간 ),

EERL

(종단 간 요

청 지연시간),

TPS

(초당 토큰 수),

RPS

(초당 요청 수)이다. 이 네 지표는

LLM

성능 저하로

이어지는 네 가지 제약 조건과 대응된다.

TTFT

(첫 토큰 생성 시간)

TTFT

time

to

first

token

(첫 토큰 생성 시간 )은 요청을

LLM

에 제출한 시점부터 응답의 첫 토큰이 생

성될 때까지의 시간이다. 이 지표는 모델의 출력이 시작되기까지 사용자가 얼마나 기다려야 하

는지를 알려 준다. 점에서

TTFT

는 대화형 애플리케이션에서 중요한 지표이다. 대체로 사용자

들은 첫 토큰이 나타나기 전까지 애플리케이션이 아무 일도 하지 않는다고 생각하기 때문이다.

응답 전체가 완성되길 기다리지 않고 각 토큰이 생성되는 즉시 클라이언트에 전달하는 것을 응

답

스트리밍

streaming

이라고 부른다. 대화형 애플리케이션에서 응답 스트리밍을 사용하면 전체

응답 생성 시간에 대한 제약이 훨씬 느슨해진다. 스트리밍이 시작되어서 첫 토큰이 표시되는

순간부터 사용자가 응답에 주의를 기울이기 때문이다. 사용자가 응답의 앞부분을 읽는 동안 전

체 응답이 완성된다면 사용자는 지연시간이 길지 않다고 느낀다. [그림

8

-

11

]은 최초 ...