84
살아 움직이는 머신러닝 파이프라인 설계
예제 코드는 제공된 경로
/
path
/
to
/
images
에서 이미지를 읽어서
tf
.
Example
에 바이트 문
자열로 저장합니다. 파이프라인의 이 시점에서는 이미지를 전처리하지 않겠습니다. 디스크 공
간을 상당히 절약할 수 있지만, 이런 작업은 나중에 수행하려고 합니다. 이 시점에서 전처리를
진행한다면 잠재적인 학습-서빙 왜곡이 발생할 수 있습니다.
우리는
tf
.
Examples
에 레이블과 함께 원시 이미지를 저장합니다. 여기서는 파일 이름에서
generate
_
label
_
from
_
path
함수를 사용하여 각 이미지의 레이블을 추출합니다. 레이블 생
성은 데이터셋에 따라 다르므로 이 예제에는 포함하지 않았습니다.
이미지를
TFRecord
파일로 변환한 후에는
ImportExampleGen
컴포넌트를 사용하여 데이터
셋을 효율적으로 소비하고, ‘기존
TFRecord
파일 가져오기’에서 살펴본 전략을 적용할 수 있습
니다.
3.4
요약
이 장에서는 머신러닝 파이프라인으로 데이터를 수집하는 다양한 방법을 살펴봤습니다. 또한
데이터베이스 못지 않게 디스크에 저장된 데이터의 수집을 강조했습니다. 이 프로세스에서는
수집된 데이터 레코드가 다운스트림 구성 요소의 사용을 위해
tf
.
Example
(
TFRecord
파일에
저장 )로 변환되는 것에 대해서도 논의했습니다.
다음 장에서는 생성된
tf
.
Example
레코드를 파이프라인의 데이터 유효성 검사 단계에서 사용
하는 방법을 살펴보겠습니다.