살아 움직이는 머신러닝 파이프라인 설계: 텐서플로와 함께하는 머신러닝 프로젝트 자동화

86

살아 움직이는 머신러닝 파이프라인 설계

플로를 강조 표시하는 방법을 살펴봅니다.

데이터 검증 단계는 파이프라인의 데이터가 피처 엔지니어링 단계에서 기대하는 데이터인지

확인합니다. 이는 여러 데이터셋을 비교하는 데 도움이 됩니다. 또한 시간이 지나면서 데이터

가 변경될 때도 강조 표시합니다. 예를 들어 학습 데이터가 추론용으로 모델에 제공한 새 데이

터와 크게 다를 때 강조 표시하죠.

이 장의 마지막 부분에서는 첫 번째 워크플로 단계를

TFX

파이프라인에 통합합니다.

4.1

데이터 검증의 필요성

머신러닝에서는 데이터셋의 패턴에서 학습하고 이를 일반화하려고 합니다. 따라서 데이터는

머신러닝 워크플로에서 가장 중요한 역할을 하며, 데이터의 품질은 머신러닝 프로젝트 성공의

핵심 요소입니다.

머신러닝 파이프라인의 각 단계는 워크플로를 다음 단계로 진행할 수 있는지, 전체 워크플로를

폐기하고 재시작해야 하는지 (예: 새로운 학습 데이터가 쌓였을 때)를 결정합니다. 데이터 검

증은 시간이 오래 걸리는 전처리 및 학습 단계에 도달하기 전에 머신러닝 파이프라인에 들어오

는 데이터의 변화를 포착하므로 매우 중요한 체크포인트입니다.

머신러닝 모델 업데이트를 자동화하려면 데이터 검증이 필수입니다. 특히 검증이란 데이터에

관한 다음과 같은 확인을 의미합니다.

●

데이터 이상치를 확인합니다.

●

데이터 스키마가 변경되지 않았는지 확인합니다.

●

새 데이터셋의 통계와 이전 학습 데이터셋의 통계가 일치하는지 확인합니다.

파이프라인의 데이터 검증