177
10장 마케팅추천엔진
KPI
로 선정한다.
A
/
B
테스트라는 실험 방법을 최대한 활용하기 위해서는 통제 군과 실험 군을 신중하게 선택해
야 한다. 실험 시작 전에 무작위로 고객층을 분할하여 그룹을 정의하는 것이 이상적이다. 가능
하다면, 고객들이 그 즈음엔 다른 실험에 관여하지 않도록 하여 그들의 이력 데이터가 다른 실
험의 영향에 오염되지 않도록 해야 한다. 다만, 신규 고객이 많이 들어오는 풀
pull
방식에서는
불가능할 수 있는데, 이 경우엔 즉석에서 할당할 수 있다. 실험 기간과 그룹의 크기는 두 그룹
간의
KPI
차이의 예상 크기에 따라 달라진다. 즉, 기대 효과가 클수록 그룹 크기가 작아지고
지속 시간이 짧아진다.
실험은 두 단계로 나눠 수행할 수 있다. 첫 번째 단계에서는 동일하지만 제한된 크기의 두 그룹
을 선택할 수 있다. 실험이 긍정적일 경우, 새로운 전략에 대해
10
%를 더 배치하는 식으로 시
작할 수 있으며, 이는 결과가 예상과 일치할 경우 점진적으로 증가시킬 수 있는 비율이다.
10.4
모델 학습 및 배포
이러한 유형의 활용 사례에 대한
MLOps
프로세스를 더 잘 설명하기 위해, 다음 절에서는 어
떤 가상 기업이 추천 엔진을 학습 및 배포하기 위해 자동화된 파이프라인을 구축하는 예시를
중점적으로 설명하겠다. 이 회사는 실리콘밸리에 본사를 둔 글로벌 소프트웨어 회사다. 이 회
사를 마켓클라우드라고 부르자.
마켓클라우드의 제품 중 하나는 세일즈코어라는
SaaS
Software
-
as
-
a
-
Service
플랫폼이다.