살아 움직이는 머신러닝 파이프라인 설계: 텐서플로와 함께하는 머신러닝 프로젝트 자동화

127

5

장

데이터 전처리

outputs[transformed_name(key)] = convert_num_to_one_hot(

temp_feature, num_labels=bucket_count + 1

)

for key in TEXT_FEATURES.keys():

outputs[transformed_name(key)] = fill_in_missing(inputs[key])

outputs[transformed_name(LABEL_KEY)] = fill_in_missing(inputs[LABEL_KEY])

return outputs

코드 위치:

chapters

/

chapter5

/

5

-

4

.

py

TIP

벡터에 텍스트 피처를 포함하지 않은 이유

변환 단계의 일부로 텍스트 피처를 고정 벡터에 삽입하지 않은 이유가 궁금하신 분도 있겠지요. 그렇게 할 수

도 있지만, 우리는 전처리 대신 텐서플로 허브 모델을 전체 모델의 일부로 로딩하기로 했습니다. 주된 이유는

학습 단계에서 임베딩을 학습하여 보다 정교한 벡터 표현을 얻기 위함입니다. 따라서 이 그래프는 전처리 단계

에 하드 코딩하거나 학습 단계 중에 고정 그래프로 표시할 수 없습니다.

파이프라인에서

TFX

의

Transform

컴포넌트를 사용하면 별도의 파이썬 파일로 변환 코드가

제공될 것으로 예상합니다. 모듈 파일 ...