잘되는 머신러닝 팀엔 이유가 있다

253

Chapter 6

자동 테스트: ML 모델 테스트

훈련

데이터

추론(실제)

데이터

1. 훈련 데이터와 릴리스 데이터 간의

편향/변화를 최소화하여

이 격차를 가능한 한 작게 유지합니다

(예: 수집 편향, 파이프라인 비대칭).

2. 테스트를 위해

릴리스 유사 데이터를

얻거나 생성합니다.

3. 데이터 수집 루프를 닫고

데이터 레이블링 메커니즘을

만듭니다.

이 작업을 수행할 때,

통제할 수 없는 피드백 루프가

생성되는 위험을 식별하고 완화해야 합니다.

그림

6-5

훈련 데이터와 추론 데이터 간의 분포 변화 그리고 변화를 최소화하기 위해 우리가 할 수 있는 일

1

. 훈련-배포 간 기울어짐 최소화

훈련 데이터와 추론 데이터 간의 분포 변화를 가능한 한 작게 유지합니다. 이를 위해 다

음을 수행합니다.

(

i

)

모든 피처 엔지니어링 로직을 두 시나리오 모두에 대칭적으로 적

용합니다

(이 장의 코드 예시에서 사이킷런 파이프라인

28

을 사용하여 수행한 것처럼 하면 됩

니다 )

.

(

ii

)

모델이 훈련된 데이터를 정기적으로 갱신합니다

(이에 대해서는 곧 자세히 설

명하겠습니다 )

.

2

. 테스트를 위해 릴리스 환경과 유사한 데이터 사용(필요한 경우 합성 데이터 사용)

일부 상황에서는 릴리스되지 않은 환경에서 테스트를 위해 실제 데이터를 사용할 수 없

습니다. 이러한 경우

Synthetic

Data

Vault ...