머신러닝 시스템 설계

340

머신러닝 시스템 설계

요구 사항

3

단계에서

4

단계로 넘어가는 과정은 험난합니다. 먼저 모델 업데이트를 트리거하는 메커니즘

이 필요합니다. 트리거는 다음과 같습니다.

●

시간 기반 : 예컨대

5

분마다 업데이트합니다.

●

성능 기반 : 예컨대 모델 성능이 떨어질 때마다 업데이트합니다.

●

볼륨 기반 : 예컨대 레이블링된 데이터 총량이

5

% 증가할 때마다 업데이트합니다.

●

드리프트 기반 : 예컨대 주요 데이터 분포 시프트가 감지될 때마다 업데이트합니다.

이 트리거 메커니즘이 작동하려면 견고한 모니터링 솔루션이 필요합니다.

8

.

3

절 ‘모니터링과

관찰 가능성’에서 이야기했듯 어려운 부분은 드리프트를 감지하는 일이 아니라 어느 드리프트

가 중요한지 결정하는 일입니다. 모니터링 솔루션에서 오탐지가 많이 발생한다면 모델이 필요

이상으로 자주 업데이트됩니다.

모델 업데이트를 지속적으로 평가하려면 견고한 파이프라인이 필요합니다. 모델 업데이트 함

수를 작성하는 것은

3

단계와 크게 다르지 않습니다. 어려운 부분은 업데이트된 모델이 제대로

작동하는지 확인하는 일이죠.

9

.

2

절 ‘프로덕션에서 테스트하기’에서는 다양한 테스트 기법을

살펴봅니다.

9.1.5 9.1.5

모델 업데이트 빈도모델 업데이트 빈도

모델을 신속하게 업데이트하기 위한 인프라를 설정했다면, 이번에는 회사 형태나 규모와 상관

없이

ML

엔지니어를 괴롭히는 질문이 등장합니다. 모델을 얼마나 자주 업데이트해야 할까요?

질문에 답하기에 앞서 모델을 신규 데이터로 업데이트했을 때 성능이 얼마나 향상되는지 ...