MLOps 도입 가이드

170

3부MLOps실제사례

●

전체집단뿐만아니라하위집단별성능도조사한다.하위집단에는일반적인매출기반고객세그먼트뿐만아

니라책임있는

AI

의출현에따라중요해진성별에따른고객세그먼트혹은지역규정에따라보호되는속성

기반고객세그먼트가있을수있다.이렇게구분하지않을경우심각한피해를입을수있다.예를들어,애플

은

2019

년,그들이발행하는신용카드가카드를신청하는여성에대해‘성차별적’이라는말을듣고나서야비

로소그사실을알게되었다(

https://oreil.ly/iO3yj

).

9.4

상용화 준비

신용 리스크 모델의 유의미한 영향을 고려하여, 검증 과정에 머신러닝 모델 생애주기 중 모델

링 부분과 관련된 유의미한 작업을 포함하며, 다음과 같은 완전한 문서화를 포함한다.

●

사용한데이터

●

모델자체와모델을구축하기위해세운가정

●

검증방법론과검증결과

●

모니터링방법론

이 시나리오에서 모니터링 방법론은 두 가지로 나뉘는데, 데이터와 성능 드리프트다. 예측 실

행과 실제 데이터 획득 사이의 지연시간(일반적으로 대출 기간에 지불 연체를 고려한 몇 개월

을 더한 기간)이 길기 때문에 모델 성능만 모니터링하는 것으로는 충분하지 않으므로 데이터

드리프트도 주의 깊게 모니터링해야 한다.

예를 들어 경기 침체가 발생하거나 상업 정책이 바뀔 경우, 추가 검증 없이는 모델의 성능을

보장할 수 없는 수준으로 신청자 집단이 변화할 가능성이 높다. 데이터 드리프트의 경우, 확

률 분포 사이의 ...