291
11
장
파이프라인 1부: 아파치 빔 및 아파치 에어플로
PostgreSQL
과 같은 프로덕션 지원 데이터베이스와 함께 아파치 에어플로를 사용하면 파이프
라인의 일부를 실행할 수 있습니다. 이렇게 하면 시간이 오래 걸리는 파이프라인이 실패했을
때 이전 파이프라인 단계를 모두 다시 실행하지 않으므로 시간을 상당히 절약할 수 있습니다.
11.1.3
쿠브플로 파이프라인
여러분이 쿠버네티스를 다뤄봤고 쿠버네티스 클러스터에 접속해봤다면, 쿠브플로 파이프라인
을 고려해보기 바랍니다. 쿠브플로 설정은 에어플로 설치보다 더 복잡하지만,
TFDV
와
TFMA
시각화, 모델 계통, 수집된 아티팩트를 볼 수 있는 다양한 기능이 포함되어 이를 이용한 새로운
기회를 잡을 수도 있습니다.
쿠버네티스는 머신러닝 모델을 배포하는 우수한 인프라 플랫폼이기도 합니다. 쿠버네티스의
Istio
도구를 사용한 추론 라우팅은 머신러닝 인프라 분야의 최신 기술입니다.
다양한 클라우드 공급자에서 쿠버네티스 클러스터를 설정할 수 있으므로 단일 벤더로 제한되
지 않습니다. 또한 쿠브플로 파이프라인은 클라우드 공급자가 제공하는 최첨단 학습 하드웨어
를 활용할 수 있도록 지원합니다. 파이프라인을 효율적으로 실행하고 클러스터의 노드를 스케
일 업 또는 다운할 수 있습니다.
11.1.4
AI
플랫폼의 쿠브플로 파이프라인
GCP
의 일부인 구글의
AI
플랫폼에서 쿠브플로 파이프라인을 운영할 수도 있습니다. 이렇게
하면 대부분의 인프라를 관리할 수 있으며 구글 클라우드 스토리지 버킷에 있는 데이터를 ...