
79
3
장
데이터 수집
tfrecord_filepath = os.path.join(data_dir, tfrecord_filename)
# 기존 하위 디렉터리를 설정합니다.
input = example_gen_pb2.Input(splits=[
example_gen_pb2.Input.Split(name=’train’, pattern=’train/*’),
example_gen_pb2.Input.Split(name=’eval’, pattern=’eval/*’),
example_gen_pb2.Input.Split(name=’test’, pattern=’test/*’)
])
# input_config 인수를 추가합니다.
example_gen = CsvExampleGen(input_base=data_dir, input_config=input)
context.run(example_gen)
코드 위치:
chapters
/
chapter3
/
3
-
13
.
py
입력 구성을 정의한 후
input
_
config
인수를 정의하여
ExampleGen
컴포넌트에 설정을 전달
할 수 있습니다.
3.2.2
데이터셋 스패닝
새로운 데이터가 제공될 때 머신러닝 모델을 업데이트할 수 있다는 점은 머신러닝 파이프라인
의 중요한 사용 사례입니다. 이 시나리오에서는
ExampleGen
컴포넌트를 사용하여 스팬을 사
용할 ...