머신러닝 시스템 설계

251

7

장

모델 배포와 예측 서비스

로 생성하는 것입니다. [표

7

-

1

]은 온라인 예측과 배치 예측에 대해 고려해야 할 핵심 사항을

요약한 표입니다.

표

7-1

배치 예측과 온라인 예측의 주요 차이점

배치 예측 (동기) 온라인 예측 (비동기)

얼마나 자주 처리하나요?

주기적으로 처리(예:

4

시간마다)

요청이 오면 바로 처리

어디에 사용하나요? 즉각적인 결과가 필요하지 않아 누적된

데이터를 처리하는 경우(예: 추천 시스템)

데이터 샘플이 생성되는 즉시 예측해야

하는 경우(예: 이상 거래 탐지)

무엇을 최적화하나요? 높은 스루풋 짧은 레이턴시

많은 애플리케이션에서 온라인 예측과 배치 예측은 서로 다른 유스 케이스에 나란히 사용됩니

다. 예를 들어, 도어대시나 우버이츠

UberEats

같은 음식 배달 앱은 식당 추천을 생성할 때 배치

예측을 사용합니다. 식당이 많으니 온라인으로 추천을 생성하려면 너무 오래 걸리겠죠. 한편

특정 식당을 클릭하면 온라인 예측으로 음식 항목 추천이 생성됩니다.

많은 사람은 온라인 예측이 배치 예측보다 비용과 성능 면에서 비효율적이라고 생각합니다. 입

력을 배치 처리하지 못하고 벡터화나 기타 최적화 기술을 활용할 수 없기 때문입니다. 하지만

3

.

6

절 ‘배치 처리

vs

. 스트림 처리’에서 논의했듯 이것이 반드시 맞지는 않습니다.

게다가 온라인 ...