
295
11
장
파이프라인 1부: 아파치 빔 및 아파치 에어플로
notebook_file
=
os.path.join(os.getcwd(),
notebook_filename)
# 파이프라인 입력
data_dir
=
os.path.join(pipeline_dir,
‘data’)
module_file
=
os.path.join(pipeline_dir,
‘components’,
‘module.py’)
requirement_file
=
os.path.join(pipeline_dir,
‘requirements.txt’)
# 파이프라인 출력
output_base
=
os.path.join(pipeline_dir,
‘output’,
pipeline_name)
serving_model_dir
=
os.path.join(output_base,
pipeline_name)
pipeline_root
=
os.path.join(output_base,
‘pipeline_root’)
metadata_path
=
os.path.join(pipeline_root,
‘metadata.sqlite’)
그런 다음 파이프라인에 포함할 컴포넌트를 나열합니다.
components
=
[
example_gen,
statistics_gen,
schema_gen,
example_validator,
transform, ...