
309
11
장
개선 루프
개선
루프
11
CHAPTER
꽤 복잡한 멀티 에이전트 시스템이라면 실패는 반드시 일어납니다. 이런 시스템은 역동적인 실
제 환경에서 다양한 사용자, 예측 불가능한 입력, 빠르게 변하는 외부 데이터 소스와 상호작용
합니다. 가장 잘 설계된 시스템이라도 엣지 케이스, 모호한 지시, 설계가 예상하지 못한 오작
동을 마주하게 됩니다. 그러나 시스템의 진짜 시험대는 실패 여부가 아니라 그 실패로부터 얼
마나 잘 학습해 시간이 지날수록 개선하는가입니다. 이 장은 실패에서 회복할 뿐 아니라 지속
적으로 진화하고 스스로 다듬도록 만드는 피드백 주도 개선 루프를 구축하는 데 초점을 맞춥
니다.
지속적 개선은 단일 메커니즘이 아니라 피드백 파이프라인을 사용해 이슈를 진단하고 실험을
수행하며 학습하는 상호연결된 사이클입니다. 먼저 실패를 관찰하고 이해하고 분류해야 합니
다. 원시 텔레메트리와 실제 사용자 상호작용에서 실행 가능한 인사이트를 끌어내도록 확장 가
능한 자동 분석과 인간 개입
human
-
in
-
the
-
loop
검토를 결합한 피드백 파이프라인을 통해서입니다.
다음으로 제안된 개선안을 섀도 배포,
A
/
B
테스트, 베이지안 밴딧
Bayesian
Bandits
같은 실험 프레
임워크로 통제된 환경에서 검증합니다. 이 기법은 변화를 점진적으로 출시할 수 있는 구조화된 ...