살아 움직이는 머신러닝 파이프라인 설계: 텐서플로와 함께하는 머신러닝 프로젝트 자동화

113

5

장

데이터 전처리

5.2.2

전처리 전략

앞에서 논의한 바와 같이 적용된 변환은

preprocessing

_

fn

()

이라는 함수에서 정의합니다.

그런 다음

Transform

파이프라인 구성 요소나 독립 실행형

standalone

TFT

설정에서 해당 피처

를 사용합니다. 다음은 앞으로 자세히 설명할 전처리 피처의 예입니다.

import tensorflow_transform as tft

def

preprocessing_fn(inputs):

x = inputs[‘x’]

x_normalized = tft.scale_to_0_1(x)

return

{

‘x_xf’: x_normalized

}

코드 위치:

chapters

/

chapter5

/

5

-

1

.

py

함수는 입력 배치를 파이썬 딕셔너리로 수신합니다. 키는 피처의 이름이며 전처리를 적용하

기 전의 원시 데이터를 나타내는 값입니다.

TFT

는 먼저 [그림

5

-

5

]와 같이 분석 단계를 수행

합니다. 우리의 데모 예제에서는 데이터 전체를 전달하여 피처의 최솟값과 최댓값을 결정합니

다. 아파치 빔에서 전처리 단계를 실행하면 이 단계를 분산 방식으로 수행할 수 있습니다. 두

번째 데이터 전달 과정에서 결정된 값 (여기서는 피처 열의 최솟값과 최댓값 )을 사용하여 [그림

5

-

6

]과 같이 피처

x

를

0

과

1

사이에서 스케일링합니다. ...