살아 움직이는 머신러닝 파이프라인 설계: 텐서플로와 함께하는 머신러닝 프로젝트 자동화

300

살아 움직이는 머신러닝 파이프라인 설계

11.6.2

기본 에어플로 예시

에어플로 설치와 함께 기본 에어플로 파이프라인을 설정하는 방법을 살펴보겠습니다. 이 예에

서는

TFX

컴포넌트를 포함하지 않습니다.

워크플로 파이프라인은 파이썬 스크립트로 정의하며, 에어플로에서는

DAG

정의가

~/

airflow

/

dags

에 위치할 것으로 예상합니다. 기본 파이프라인은 프로젝트별 에어플로 구성,

작업 정의, 작업 종속성 정의로 구성됩니다.

프로젝트별 구성

에어플로는 실패한 워크플로를 재시도할지, 워크플로에 오류가 발생할 때 특정 사용자에게 알

릴지 등 프로젝트별 설정을 구성하는 다양 옵션을 제공합니다. 구성 옵션 목록은 광범위합니

다. 업데이트된 개요는 에어플로 설명서 (

https

://

airflow

.

apache

.

org

/

)를 참고하세요.

에어플로 파이프라인 정의는 관련 파이썬 모듈과 프로젝트 구성을 가져오는 것으로 시작합니다.

from airflow import DAG

from datetime import datetime, timedelta

project_cfg = {

# 프로젝트 구성을 정의할 위치입니다.

‘owner’: ‘airflow’,

‘email’: [‘

[e-mail]

’],

‘email_on_failure’: True,

‘start_date’: ...