316
살아 움직이는 머신러닝 파이프라인 설계
쿠브플로 파이프라인을 설치하고 실행하면 파이프라인을 실행하는 방법에 집중할 수 있습니
다. 다음 절에서는 파이프라인 오케스트레이션과
TFX
에서 쿠브플로 파이프라인에 이르는 워
크플로를 살펴보겠습니다.
12.2
쿠브플로 파이프라인을 사용한
TFX
파이프라인 조정
이전 절에서는 쿠버네티스에 쿠브플로 파이프라인을 설치하는 방법을 살펴봤습니다. 이 절에
서는 쿠브플로 파이프라인 설정을 통해 파이프라인을 실행하는 방법을 설명하고, 쿠버네티스
클러스터 내에서만 실행하는 데 집중하겠습니다. 이렇게 하면 클라우드 서비스 공급자와 독립
된 클러스터에서 파이프라인 실행을 수행할 수 있습니다.
12
.
3
절 ‘구글 클라우드
AI
플랫폼 기
반 파이프라인’에서는
GCP
의 데이터플로와 같은 관리형 클라우드 서비스를 활용하여 쿠버네
티스 클러스터를 넘어 파이프라인을 확장하는 방법을 보여드리겠습니다.
쿠브플로 파이프라인으로 머신러닝 파이프라인을 조정하는 방법을 자세히 설명하기 전에, 잠
시 뒤로 물러나겠습니다.
TFX
코드에서 파이프라인 실행까지의 워크플로는
11
장에서 다룬 내
용보다 조금 더 복잡하므로 전체적인 개요부터 시작하겠습니다. [그림
12
-
4
]는 전체 아키텍처
입니다.
에어플로 및 빔과 마찬가지로 파이프라인의
TFX
구성 요소를 정의하는 파이썬 스크립트가 필
요합니다.
11
장의 [예제
11
-
1
] 스크립트를 재사용하겠습니다. 아파치 빔이나 에어플로
TFX
Runner
의 실행과는 대조적으로, 쿠브플로
Runner
는