살아 움직이는 머신러닝 파이프라인 설계: 텐서플로와 함께하는 머신러닝 프로젝트 자동화

34

살아 움직이는 머신러닝 파이프라인 설계

데이터 수집/

버전 관리

모델 피드백

데이터 검증 데이터 전처리 모델 학습

모델 튜닝

모델 분석모델 검증모델 배포

그림

1-1

모델 생애 주기

머신러닝 파이프라인은 보통 다음의 단계로 구성됩니다.

1.3.1

데이터 수집과 데이터 버전 관리

데이터 수집은 모든 머신러닝 파이프라인의 시작입니다 (

3

장 참고 ). 이 단계에서는 이어지는

이후 컴포넌트가 소화할 수 있는 형식으로 데이터를 처리합니다. 데이터 수집 단계에서는 피처

엔지니어링을 수행하지 않습니다 (데이터 유효성 검사 단계 후에 수행합니다 ). 또한 들어오는

데이터의 버전을 관리하여 데이터 스냅샷을 파이프라인 끝에 있는 학습된 모델과 연결하는 점

도 중요합니다.

1.3.2

데이터 검증

새 모델 버전을 학습하기 전에 새 데이터를 검증해야 합니다. 데이터 검증 (

4

장)은 새 데이터의

통계가 예상대로인지 확인하는 데 초점을 맞춥니다(예: 범주의 범위, 범주의 수와 분포 ). 또한

이상 징후가 감지되면 데이터 과학자에게 경고합니다. 예를 들어, 이진 분류 모델을 학습할 때

학습 데이터에 클래스

X

표본의

50

%와 클래스

Y

표본의

50

%가 포함된다고 가정해보죠. 데이

터 검증 도구는 (새로 수집된 데이터가 두 클래스 간에

70

/

30

으로 분할될 때처럼) 클래스 각

각의 비율이 변경될 ...