October 2021
Beginner to intermediate
416 pages
9h 3m
Korean
Content preview from 살아 움직이는 머신러닝 파이프라인 설계: 텐서플로와 함께하는 머신러닝 프로젝트 자동화
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.
109
5
장
데이터 전처리
파크
Apache
Spark
, 아파치 플링크
Apache
Flink
클러스터에 액세스할 수 없을 때 아파치 빔은 기본적
으로
Direct
Runner
모드로 돌아갑니다.
5.1.3
학습-서빙 왜곡 방지
TFT
는 전처리 단계용 텐서플로 그래프를 생성하고 저장합니다. 먼저 데이터를 처리하는 그래
프를 만듭니다 (예: 최솟값/최댓값 결정). 그런 다음 지정된 경계로 그래프를 보존합니다. 이
그래프는 모델 수명 주기의 추론 단계에서 사용할 수 있습니다. 이 프로세스는 추론 수명 주기
단계의 모델이 학습 중에 사용한 모델과 같은 전처리 단계를 보게 합니다.
학습-서빙 왜곡이란 무엇일까요?
모델 학습 중에 사용한 전처리 단계가 추론 중에 사용한 단계와 일치하지 않으면 학습-서빙 왜
곡이 발생합니다. 모델을 학습하는 데 사용하는 데이터는 팬더스와 함께 파이썬 노트북이나 스
파크 작업에서 처리할 때가 많습니다. 모델이 프로덕션 설정으로 배포되면 예측을 위해 데이터
가 모델에 도달하기 전에
API
에서 전처리 단계가 구현됩니다. [그림
5
-
2
]에서 볼 수 있듯이 이
두 프로세스는 단계가 항상 일치하도록 조정해야 합니다.
API
모델 학습
모델 예측
머신러닝 모델
그림
5-2
일반적으로 사용하는 머신러닝 설정
TFT
를 사용하면 전처리 단계가 올바르게 진행되도록 할 수 ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Read now
Unlock full access
More than 5,000 organizations count on O’Reilly
O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.Julian F.
I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.Addison B.
I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.Amir M.
I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.