93
5장 상용화준비
●
모델의광범위한사용
●
급변하는환경
●
모델간복잡한상호작용
다음 절에서는 이러한 위협과 위협을 경감하는 방법에 대해 상세히 살펴보자. 이 내용은 궁극
적으로 조직이 도입하는
MLOps
시스템의 궁극적 목표가 되어야 한다.
5.3
머신러닝에 대한 품질 검증
소프트웨어 엔지니어링 분야에서는 품질 검증
Quality
Assurance
(
QA
) 관련 도구와 방법론이 성숙
한 수준까지 발전하였지만, 데이터와 모델 분야에서는 미숙한 수준이다. 이로 인해
MLOps
프
로세스에
QA
를 넣기가 쉽지 않다. 통계적 방법과 문서화 모범 실천 사례가 잘 알려져 있지만,
규모 있게 구현한 경우는 흔치 않다.
상용화 준비 단계로서 이번 장에 포함하였으나, 사실 머신러닝에 대한
QA
는 마지막 검증 단계
에서만 진행하는 것이 아니라 모델 개발과 관련된 모든 단계에서 필요하다.
QA
의 목표는 프로
세스 준수뿐만 아니라 머신러닝 및 성능 요구사항에 대한 준수도 포함한다.
QA
에서 세밀함의
정도는 위험 수준에 비례한다.
검증을 담당하는 사람들이 모델을 개발한 당사자가 아니라면, 머신러닝에 대해 충분히 학습받
고 리스크를 충분히 이해해야만 적절한 검증 방법을 설계하고 개발 팀이 제안하는 검증 방법의
빈틈을 찾아낼 수 있다. 또한 이슈를 적절히 보고하고 지속적으로 개선하며, 리스크 수준이 심
각한 경우 상용 배포 중지 권한을 위임할 수 있는 조직의 구조와 문화를 갖추고 있어야 한다.
강력한
MLOps
실천 사례에 따르면 상용 배포 전에 수행하는
QA ...