잘되는 머신러닝 팀엔 이유가 있다

263

Chapter 6

자동 테스트: ML 모델 테스트

성능이 떨어지거나 모델 테스트가 실패하면,

(

6

.

2

.

1

)

먼저 오류 분석을 통해 모델 개선 작업

을 시작합니다. 그리고

(

6

.

2

.

2

)

정기적으로 업데이트된 레이블을 기준으로 데이터 수집 과정

을 완료하고,

(

6

.

2

.

3

)

업데이트된 평가 데이터를 사용하여 모델 테스트를 정기적으로 다시

실행할 때만 실제 환경에서 모델의 진정한 성능을 알 수 있습니다.

자동 테스트를 명확히 설명하기 어렵고 수동 테스트와 문제 해결에 시간을 많이 쓰게 되면,

이는 피드백 메커니즘의 일부가 빠졌다는 신호입니다.

(

6

.

2

.

4

)

탐색적 테스트를 사용하여 이

빠진 부분을 찾아내고, 이를 자동화하여 피드백을 유지하면서 비용과 정보 손실을 줄일 수

있습니다.

(

6

.

2

.

5

)

테스트가 실패하는 것만으로는 충분하지 않으며, 데이터 중심, 모델 중심 또는 사용

자 경험

(

UX

)

중심의 방법을 통해 모델을 개선해야 합니다

(

6

.

2

.

6

)

결국 우리는

ML

(머신러닝)

이 확률적이며 특히 데이터가 변할 때

100

% 정확할 수 없

다는 것을 인정하고, 실패의 비용을 줄이는 방식으로 설계하여 우리

ML

제품에 의존하는 사

용자에게 실패의 위험을 줄입니다.

(

6

.

2

.

7

)

만족스러운 품질의 모델을 운영 환경에 릴리스한 후, 우리는 세 가지 수준

(애플리케

이션 모니터링, 데이터 분포 모니터링, 모델 지표 모니터링)

에서 이를 모니터링합니다. 모니터

링은 운영 중에 제품이 원활하게 작동하는지 확인하고 실제 환경에서 모델의 성능을 관찰하

며 모델을 ...