290
살아 움직이는 머신러닝 파이프라인 설계
이 장에서는 다양한 도구의 사용 사례를 살펴보겠습니다. 그런 다음 대화형 파이프라인에서 이
런 도구로 조정할 수 있는 파이프라인으로 이동하는 데 필요한 몇 가지 공통 코드를 알아보겠
습니다. 아파치 빔과 아파치 에어플로는 쿠브플로 파이프라인보다 더 간단히 설치할 수 있습니
다. 따라서
12
장의 더 강력한 쿠브플로 파이프라인으로 넘어가기 전에 이 장에서 살펴보겠습
니다.
11.1
오케스트레이션 도구 선택
이 장과
12
장에서는 파이프라인을 실행하는 데 사용하는 세 가지 오케스트레이션 도구를 설명
합니다. 아파치 빔, 아파치 에어플로, 쿠브플로 파이프라인입니다. 이 중 하나를 선택하여 파이
프라인을 실행합니다. 이런 도구를 사용하는 방법을 자세히 살펴보기 전에 각 도구의 장단점을
설명하겠습니다. 여러분에게 가장 적합한 도구를 고르는 데 도움이 될 것입니다.
11.1.1
아파치 빔
파이프라인 태스크에
TFX
를 사용하는 중이라면 아파치 빔이 이미 설치됐습니다. 따라서 최소
설치를 원할 때는 이미 설치한 빔을 다시 사용하여 오케스트레이션하는 것이 합리적인 선택입
니다. 설정이 간단하며 이미 익숙한 기존의 분산 데이터 처리 인프라 (예: 구글 클라우드 데이
터플로 )를 사용할 수도 있습니다. 또한 빔을 중간 단계로 사용하여 에어플로나 쿠브플로 파이
프라인으로 이동하기 전에 파이프라인이 올바르게 작동하는지 확인할 수 있습니다.
그러나 아파치 빔에는 모델 업데이트를 예약하거나 파이프라인 작업 프로세스를 모니터링하는 ...