머신러닝 인터뷰 실무 가이드

281

CHAPTER 06

기술 인터뷰: 모델 배포와 종단 간 머신러닝

머신러닝 관련 모니터링 지표

앞에서 우리는 전반적인 모니터링 설정과 데이터 모니터링을 논의했습니다. 이제 모델의 성

능이나 출력 및 예측을 측정하는 지표에 초점을 맞춰 설명하겠습니다. 모니터링은 인터뷰에

서 후보자가 모델 성능 변화를 어떻게 다루는지를 평가하기 위해 자주 나오는 주제입니다.

사용할 수 있는 지표의 범주 몇 가지는 다음과 같습니다.

정확도 관련 지표

전체적인 피드백 루프를 완전히 구축해야 한다는 전제하에 여러분은 정확도 관련 지표를 모

니터링하고 추적할 수 있습니다. 예를 들어, 고객 이탈 예측 모델에서 이번 달의 주기 동안 사

용자 한 명이 이탈할 것으로 예측할 수 있습니다. 한 달 후엔 그 예측이 실제로 맞았는지 확인

하고 그 달 내의 모든 예측에 대해서도 같은 작업을 수행합니다. 모델의 정확도가 예상보다

낮다면, 조사해야 할 사항으로 기록해야 합니다.

예측 관련 지표

모델이 여러분이 갖고 있는 피드백 루프보다 더 빠르게 반응하는 것이 중요한 경우엔 예측 지

표도 모니터링할 수 있습니다. 예를 들어, 사전에 결정한 임계값을 초과하는 비정상적으로 높

은 사기 경보를 모델이 예측하기 시작하면, 어떤 변화가 있었는지 조사해야 합니다. 이전 단

계에서 데이터 품질 검사 체계를 구축했기 ...