
556
에이전트 시대의 AI 시스템 설계
),
)
except InputGuardrailTriggered:
...
입력 가드레일이 허용되지 않는 프롬프트를 탐지하면 예외가 발생해서 그다음 단계들은 실행
되지 않는다. 가드레일을 위한
LLM
호출 자체가 방지되지는 않지만, 적어도 악의적인 입력의
결과를 애플리케이션이 사용해서 유해한 결과를 산출하는 일은 방지할 수 있다.
보안, 사용성, 성능 사이에 필연적인 트레이드오프가 존재한다. 가드레일이 엄격할수록 모델
의 기능이 축소되거나 지연시간이 길어진다. 또한, 아무리 정교한 가드레일이라도 공격자는 충
분한 노력을 기울이면 우회할 수 있음을 유념하자. 공격 기술 또한 진화하므로, 가드레일을 보
안 조치와 우회 방법 간의 지속적인 ‘군비 경쟁
arms
race
’으로 보아야 한다. 이러한 현실을 고려한
다면, 가드레일이라는 것을 몇 달마다 바꿔줘야 하는
AI
애플리케이션 래퍼
wrapper
로 생각하는
것이 좋다. 고도로 커스텀화된 가드레일을 구축하느라 애쓰는 대신, 새로운 프레임워크로 쉽게
이식할 수 있거나 모델 종류에 구애받지 않는 가드레일을 구축하는 것이 바람직하다.
효과적인 전략 하나는, 방어하려는 상황과 허용할 수 있는 최대 지연시간으로 구성된 평가 데
이터셋을 지속적으로 갱신해 나가는 것이다. 그런 평가 데이터셋을 ...