578
에이전트 시대의 AI 시스템 설계
데이터 복잡성
대부분의 작업흐름에는 비교적 단순한 작업이 포함되지만, 가치가 높은 활동은 훨씬 복잡하면서도 드물게 발생
하는 입력을 다루게 된다.
상세한 피드백
전문가들은
AI
가 실수를 저지른 바로 그 시점보다는 맨 마지막 단계에서 결과물을 대대적으로 수정하는 경우가
많다. 그래서 그런 피드백 데이터로 어떤 에이전트를 훈련해야 하는지가 모호해지곤 한다.
자동화 피로도
AI
가 점점 더 개선되면서 사람들은
AI
의 결과물을 그저 훑어만 보고 수정은 하지 않게 될 수 있다. 이는 자동화
역설
automation
paradox
(
https://oreil.ly/RKXgu
)의 한 단면이다.
부정확한 레이블
인간 역시 완벽하지 않으므로 잘못된 수정을 가할 수 있다. 전문가라 할지라도 개인적인 스타일이 있거나, 시스
템의 원래 설계 의도와 다르게 상황을 해석하곤 한다.
이런 이유로 앞에서 살펴본 유기적인 데이터 수집 체계만으로는 부족하다. 거기에 체계적인 데
이터 생성 및 큐레이션 방법을 결합해야 한다.
데이터를 생성하는 일반적인 접근법 하나는 인력을 고용해서 작업흐름을 처음부터 끝까지 수
행하도록 하는 것이지만, 비용이 많이 든다. 사람에게 단순하고 반복적인 작업을 지시하는 대
신,
지시사항 진화
패턴(제
5
장 패턴
16
)으로 좀 더 복잡한 변형 데이터를 생성해서 모델의 학
습에 사용하는 것도 좋은 방법이다. 한편, 자동화 역설 문제에는
자체점검
패턴(제
9
장 패턴
31
)을 이용해
AI
가 생성한 콘텐츠나 인간 피드백에서 문제가 ...