살아 움직이는 머신러닝 파이프라인 설계: 텐서플로와 함께하는 머신러닝 프로젝트 자동화

110

살아 움직이는 머신러닝 파이프라인 설계

모델 학습

모델 예측

변환

머신러닝 모델

그림

5-3

TFT

를 활용한 학습-서빙 왜곡 방지

이런 설정은 필요한 조정량을 줄이고 배포를 단순화합니다.

5.1.4

전처리 단계와

ML

모델을 한 아티팩트로 배포

전처리 단계와 학습된 모델 간의 불일치를 방지하려면 내보낸 파이프라인 모델이 전처리 그래

프와 학습된 모델을 포함해야 합니다. 그런 다음 다른 텐서플로 모델과 마찬가지로 모델을 배

포할 수 있지만, 추론하는 동안 모델 추론의 일부로 모델 서버에서 데이터를 전처리합니다. 이

는 클라이언트 측에서 전처리가 발생하지 않도록 하고 모델 예측을 요청하는 클라이언트 (예:

웹, 모바일 앱 )의 개발을 단순화합니다.

11

장과

12

장에서는 전체 엔드 투 엔드 파이프라인이

어떻게 이런 ‘복합’ 저장된 모델을 생산하는지 논의합니다.

5.1.5

파이프라인에서 전처리 결과 확인

TFT

로 데이터 전처리를 구현한 뒤 파이프라인에 통합하면 추가 이점을 얻을 수 있습니다. 전

처리한 데이터에서 통계를 생성하여 머신러닝 모델 학습에 필요한 요구 사항을 충족하는지 확

인할 수 있습니다. 텍스트를 토큰으로 변환할 때를 예로 들어보죠. 텍스트에 새 어휘가 많이 포

함되었을 때 신규 출현 토큰은 알 수 없는 토큰(

UNK

)으로 변환됩니다. 만약 토큰의 일정량을 ...