살아 움직이는 머신러닝 파이프라인 설계: 텐서플로와 함께하는 머신러닝 프로젝트 자동화

46

살아 움직이는 머신러닝 파이프라인 설계

터 유효성 검사나 데이터 전처리같은 처리 단계를

TFX

컴포넌트 내부에서 수행합니다. 둘째,

1

장에서 논의한 바와 같이 파이프라인 오케스트레이터로 사용할 수 있습니다. 여기에서 빔을

소개하는 이유는

TFX

컴포넌트를 이해하는 데 도움이 되기 때문입니다. 또한 사용자 지정 컴

포넌트를 작성하려면 반드시 빔이 필요합니다 (

10

장 참고 ).

2.1

TFX

소개

머신러닝 파이프라인이 매우 복잡해져서 작업 의존성을 관리하는 데는 더 많은 시간과 노력이

필요합니다. 또한 머신러닝 파이프라인은 데이터 검증, 전처리, 모델 학습, 학습 후 작업 등 다

양한 작업을 포함합니다.

1

장에서 논의한 바와 같이, 업무 간의 연결은 취약해지기 쉬우며 파

이프라인의 고장을 일으킵니다. 이런 연결을 글루 코드라고도 합니다.

연결이 취약하다는 말은 프로덕션 모델이 자주 업데이트되지 않음을 의미합니다. 데이터 과학

자와 머신러닝 엔지니어는 오래된 모델을 업데이트하기 꺼려하죠. 또한 파이프라인에는 잘 관

리되는 분산 처리가 필요하므로

TFX

는 아파치 빔을 활용합니다. 이는 특히 대규모 시스템에서

중요합니다.

구글은 내부적으로 이 같은 문제에 직면했고, 이를 해결하기 위해 파이프라인 정의를 단순화하

고 작성할 업무에 기본적으로 필요한 코드의 양을 최소화하는 플랫폼을 개발하기로 결정했습

니다. 구글 내부 머신러닝 파이프라인 프레임워크의 오픈 소스 버전은

TFX

입니다.

[그림

2

-

2

]는

TFX

를 사용한 일반적인 파이프라인 아키텍처입니다. ...