
318
살아 움직이는 머신러닝 파이프라인 설계
모든 컴포넌트는 실행자 컨테이너 자체의 외부 파일 시스템에 읽거나 써야 합니다. 예를 들어
데이터 수집 컴포넌트는 파일 시스템에서 데이터를 읽거나
Pusher
를 사용해 최종 모델을 특정
위치로 푸시해야 합니다. 컴포넌트 컨테이너 내에서만 읽고 쓰는 것은 실용적이지 않으므로,
모든 컴포넌트에서 액세스할 수 있는 저장 장치에 아티팩트를 저장하는 편이 좋습니다(예: 클
라우드 스토리지 버킷, 쿠버네티스 클러스터의 영구 볼륨 ). 영구 볼륨을 설정하려면 부록
C
.
2
절 ‘영구 볼륨을 통한 데이터 교환’을 확인하세요.
12.2.1
파이프라인 설정
학습 데이터, 파이썬 모듈, 파이프라인 아티팩트를 클라우드 스토리지 버킷이나 영구 볼륨에
저장할 수 있습니다. 여러분이 선택하면 되죠. 파이프라인은 파일에 액세스하기만 하면 됩니
다. 클라우드 스토리지 버킷에서 데이터를 읽거나 쓰도록 선택했다면 쿠버네티스 클러스터에
서 실행할 때
TFX
컴포넌트에 필요한 클라우드 자격 증명이 있어야 합니다.
모든 파일과 파이프라인 컨테이너에 대한 사용자 지정
TFX
이미지(필요한 경우 )를 사용해서
이제
TFX
Runner
스크립트를 ‘조립’하여 쿠브플로 파이프라인 실행
31
을 위한
Argo
YAML
지침을 생성할 수 있습니다.
11
장에서 논의한 바와 ...