MLOps 도입 가이드

109

6장 상용배포

를 매길 수도 있다. 이러한 데이터 분할과 계산에 대한 두 가지 개념은 각기 다른 문제를 해결

할 수 있기 때문에 조합하여 사용할 수 있다.

6.3.2

모델 상용 배포 시 고려 사항

모델의 새 버전을 상용 환경으로 보낼 때 가장 먼저 고려해야 할 사항은 다운타임

downtime

을 줄

이는 것으로, 특히 실시간 스코어링에서는 필수 고려 사항이다. 기본 개념은 단순히 시스템을

끄고 업그레이드한 후 다시 켜는 것이 아니라, 새로운 시스템을 별도로 구축하고 기능적인 검

증이 끝나면 부하

workload

를 기존 상용 시스템에서 신규 시스템으로 방향을 바꾸는 것이다. 신규

시스템이 정상 상태를 유지하면 이전 시스템을 종료한다. 이러한 배포 전략을 청색-녹색

blue

-

green

배포라 부르며, 때에 따라 빨강-검정

red

-

black

배포라 부르기도 한다. 여기서 분화된 다양한

방법론과 관련 프레임워크(예를 들어, 쿠버네티스

Kubernetes

)가 존재한다.

리스크를 완화하는 또 다른 고급 솔루션으로 카나리 출시

canary

release

(혹은 카나리 배포

canary

deployment

)가 있다. 모델의 안정적인 버전은 상용 환경에 유지한 채 부하

중 일정 비율을 새 모델

로 전달하여 결과를 모니터링한다. 이 전략은 보통 실시간 스코어링을 위해 구현하지만, 묶음

처리에서도 고려해볼 수 있다.

몇 가지 계산 성능 및 통계 테스트를 수행하여 새 모델로 완전히 전환할지 여부를 결정할 수 있

다. 완전히 전환하기 위해서는 남은 부하만 모두 새 모델로 ...