살아 움직이는 머신러닝 파이프라인 설계: 텐서플로와 함께하는 머신러닝 프로젝트 자동화

81

3

장

데이터 수집

3.2.3

데이터셋 버전 관리

머신러닝 파이프라인에서 우리는 머신러닝 모델을 학습하는 데 사용한 데이터셋과 함께 생산

된 모델을 추적하려고 합니다. 이때 데이터셋을 버전화하면 유용합니다.

데이터 버전 관리를 사용해 수집한 데이터를 더 자세히 추적할 수 있습니다. 즉, 수집한 데이터

의 파일 이름과 경로를

ML

메타데이터스토어에 저장하며 (현재

TFX

컴포넌트에서 지원하기

때문에 ), 수집한 데이터의 해시와 같은 원시 데이터셋에 관한 더 많은 메타 정보를 추적할 수

있습니다. 이런 버전 추적을 통해 학습 중에 사용한 데이터셋이 학습 이후 시점의 데이터셋과

동일한 지 확인할 수 있습니다. 이런 피처는 엔드 투 엔드

end

-

to

-

end

ML

재현성에 매우 중요합

니다.

그러나 현재

TFX

ExampleGen

컴포넌트에서는 이를 지원하지 않습니다. 데이터셋을 버전화

하려면 타사 데이터 버전 관리 도구를 사용하여 데이터셋을 파이프라인으로 수집하기 전에 데

이터를 버전을 지정해야 합니다. 그러나 안타깝게도 메타데이터 정보를 직접

TFX

ML

메타데

이터스토어에 쓰는 도구는 없습니다.

데이터셋을 버전화하려면 다음과 같은 도구를 사용할 수 있습니다.

●

데이터 버전 제어

(DVC )

DVC

(

https://dvc.org/

)는 머신러닝 프로젝트용 오픈 소스 버전 제어 시스템입니다. 전체 데이터셋

자체 대신 데이터셋 해시를 커밋할 수 있습니다.

DVC

는 머신러닝 프로젝트를 위한 오픈 소스 버전 제어

시스템입니다. 전체 데이터셋 ...