살아 움직이는 머신러닝 파이프라인 설계: 텐서플로와 함께하는 머신러닝 프로젝트 자동화

64

살아 움직이는 머신러닝 파이프라인 설계

3.1

데이터 수집의 개념

이 단계에서는 외부 서비스 (예: 구글 클라우드 빅쿼리 )에서 실행되는 파이프라인의 데이터 파

일을 읽거나 데이터를 요청합니다. 수집된 데이터셋을 다음 컴포넌트로 전달하기 전에 가용 데

이터를 별도의 데이터셋 (예: 학습 및 검증 데이터셋 )으로 나눕니다. 그런 다음 데이터셋을

tf

.

Example

로 표시된 데이터가 포함된

TFRecord

파일로 변환합니다.

TFRecord

TFRecord

는 대용량 데이터셋

스트리밍

에 최적화된 경량 형식입니다. 실제로 텐서플로 사용자

는 대부분 직렬화된 프로토콜 버퍼를

TFRecord

파일에 저장하지만,

TFRecord

파일 형식은 실

제로 다음과 같이 모든 바이너리 데이터를 지원합니다.

import

tensorflow

as

tf

with

tf.io.TFRecordWriter(“test.tfrecord”)

as

w:

w.write(b”First record”)

w.write(b”Second record”)

for

record

in

tf.data.TFRecordDataset(“test.tfrecord”):

print(record)

# tf.Tensor(b’First record’, shape=(), dtype=string)

# tf.Tensor(b’Second record’, ...