에이전트 시대의 AI 시스템 설계

377

6

장

신뢰성 개선

oreil

.

ly

/

x2zT

_

). 검증용

LLM

은 목록 성능에 부정적인 영향을 미치는 기능도 찾아낸다.

6.3

패턴

19

: 의존성 주입

의존성 주입

Dependency

Injection

패턴은

LLM

체인의 구성 요소들을 각각 독립적으로 개발하고 손쉽

게 테스트할 수 있게 하는 데 도움이 된다.

LLM

호출 체인을 구축할 때는 체인의 어떤 단계든

모의 구현체

mockup

로 주입하기 쉬운 방식으로 구축하는 것이 바람직하다.

6.3.1

문제

생성형

AI

애플리케이션을 개발하고 테스트하기 어려운 데는 몇 가지 이유가 있다.

비결정론적 특성

대부분의 소프트웨어

API

나 통계 모델과 달리

LLM

호출은 완전히 동일한 입력에 대해서도 매번 다른 출력을

반환할 수 있다. 이 때문에 미리 합성한 입력을 제공하고 예상 출력과 비교해서 코드가 올바른지 검증하는 통상

적인 테스트 방법이 잘 통하지 않는다.

빠르게 변하는 모델

애플리케이션의 바탕이 되는 기초 모델의 업그레이드 일정을 개발자가 미리 알 수 없을 때가 많다. 기초 모델이

바뀌면 애플리케이션을 크게 수정해야 할 수 있다. 프롬프트가 길고 상세할수록 기반 기술의 변화에 더 취약하

다. 특정 날짜를 기준으로 기초 모델을 고정하는 것이 이런 문제를 완화하는 데 도움이 되지만, 대신 더 강력해진

새 버전의 기초 모델을 활용할 수 없다는 단점이 있다.

LLM

비종속적 코드의 필요성

애플리케이션을 다양한 환경(온프레미스와 구글 클라우드 또는

AWS

와 애저 )에 배포해야 하는 경우, 애플리

케이션의 ...