MLOps 도입 가이드

92

2부MLOps적용방법

리스크가 높은 응용 프로그램의 경우, 팀 전체(특히 검증을 담당하는 엔지니어)가 이런 리스크

를 충분히 인지하여, 검증 절차를 적절히 설계하고 리스크의 수준에 맞는 엄격함과 복잡도를

적용해야 한다.

많은 경우, 머신러닝 리스크 관리에는 은행이나 보험 같은 업계에서 잘 수립한 모델 리스크 관

리 실천 사례도 포함된다. 하지만 머신러닝으로 인해 새로운 유형의 리스크나 부채가 도입되었

고, 데이터 사이언스의 민주화로 인해 전통적인 모델 리스크 관리에 대한 경험이 없는 조직이

나 팀들도 데이터 사이언스 영역으로 들어오게 되었다.

5.2.2

머신러닝 모델 리스크의 근원

머신러닝 모델이 가져올 수 있는 리스크의 수준은 수학적으로 계산하기 어려우나 리스크의 발

현은 현실 세계에서 결과로서 드러난다. 하지만 머신러닝의 지표들, 특히 비용 관련 지표를 활

용하면 ‘명목상의’ 사례인 교차 검증용 데이터 기반으로 모델 운영 시 필요한 평균 비용을 평가

하고 마법에 가까운 완벽한 모델과 비교해볼 수 있다.

이러한 예상 비용 계산은 매우 중요하지만, 예상 비용을 아득히 넘어설 가능성이 다양한 부분

에 존재한다. 어떤 응용 프로그램의 경우, 무한한 재정적 책임, 개인의 보안 이슈 혹은 조직의

존속 여부 같은 수준의 리스크를 포함하고 있을 수 있다.

머신러닝 모델 리스크는 다음과 같은 것들로부터 발생할 수 있다.

●

모델의설계,데이터준비,학습혹은평가중에발생한버그나오류

●

실행환경상의버그,모델의후처리혹은변환시발생한버그,모델과실행환경간숨겨진비호환성 ...