살아 움직이는 머신러닝 파이프라인 설계: 텐서플로와 함께하는 머신러닝 프로젝트 자동화

111

5

장

데이터 전처리

NOTE

_

tf

.

data

와

tf

.

transform

의 차이

tf

.

data

와

tf

.

transform

을 혼동하는 분들이 많습니다.

tf

.

data

는 텐서플로 모델 학습을 위한 효율적

인 입력 파이프라인을 구축하는 텐서플로

API

입니다. 라이브러리의 목표는 학습 중에 발생하는 데이터 수집

과 전처리를 수행할 때 호스트

CPU

나

RAM

과 같은 하드웨어 리소스를 최적으로 활용하는 것입니다. 반면

tf

.

transform

은 학습과 추론 모두 필요한 전처리를 표현하는 데 사용합니다. 이를 사용하면 입력 데이터

의 전체 통과 분석(예: 데이터 정규화에 사용하는 어휘나 통계 계산)을 수행할 수 있습니다. 이 분석은 학습 전

에 실행됩니다.

5.2

TFT

를 사용한 데이터 전처리

텐서플로 생태계 내에서 데이터를 전처리하는 라이브러리는

TFT

입니다.

TFDV

와 마찬가지로

TFX

프로젝트의 일부입니다.

TFT

는 이전에 생성한 데이터셋 스키마를 사용하여 파이프라인에 수집된 데이터를 처리하고

다음 두 가지 아티팩트를 출력합니다.

●

전처리한

TFRecord

형식의 학습 및 평가 데이터셋. 생성된 데이터셋은 파이프라인의

Trainer

컴포넌

트에서 사용됩니다.

●

전처리 그래프 (에셋 파일 포함 ). 머신러닝 모델을 내보낼 때 사용합니다.

TFT

의 핵심은

preprocessing ...