머신러닝 시스템 설계

405

11

장

머신러닝의 인간적 측면

순차적 데이터를 처리하는 모델에서 발생합니다. 예를 들어, 모델은 짧은 시리즈보다 긴 시리

즈를 처리하는 데 더 오래 걸립니다. 이렇게 모델이 응답하기까지 너무 오래 걸리는 쿼리는 어

떻게 해야 할까요?

필자가 함께 일했던 회사 중 일부는 백업 시스템을 사용합니다. 주 시스템에 비해 최적은 아니

지만 빠른 예측이 가능하죠. 이러한 시스템은 휴리스틱이나 단순 모델일 수 있으며, 미리 계산

된 예측을 캐싱할 수도 있습니다. 즉, ‘주 모델이 예측을 생성하는 데

X

밀리초보다 오래 걸리면

대신 백업 모델을 사용하세요.’와 같이 규칙을 지정합니다. 일부 회사는 이 간단한 규칙을 사용

하는 대신 또 다른 모델을 사용해, 주 모델이 주어진 쿼리에 대한 예측을 생성하는 데 걸리는

시간을 예측하고 해당 예측을 주 모델 혹은 백업 모델에 적절히 라우팅합니다. 물론 추가된 모

델로 인해

ML

시스템의 추론 레이턴시가 증가합니다.

여기에는 속도-정확도 트레이드오프가 있습니다. 어떤 모델은 다른 모델보다 성능이 낮지만

추론을 훨씬 더 빨리 수행합니다. 이처럼 최적은 아니지만 빠른 모델은 사용자에게 좀 덜 좋은

예측을 제공하지만 레이턴시가 중요한 상황에서는 선호됩니다. 많은 기업에서 두 모델 중 하

나를 선택해야 하지만 백업 시스템을 사용하면 추론 속도가 빠른 모델과 정확도가 높은 모델을

모두 사용할 수 있습니다.

11.2

팀 구조 팀 구조

ML

프로젝트에는 데이터 과학자와

ML

엔지니어뿐 아니라 데브옵스 엔지니어나 플랫폼 엔지 ...