March 2023
Beginner to intermediate
436 pages
9h 20m
Korean
Content preview from 머신러닝 시스템 설계
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
Start your free trial
276
머신러닝 시스템 설계
7.5
정리 정리
축하합니다. 이 책에서 가장 기술적인 장 중 하나를 마쳤습니다! 기술적이라고 하는 이유는
ML
모델 배포는
ML
난제가 아닌 엔지니어링 난제이기 때문입니다.
온라인 예측과 배치 예측, 에지에서의
ML
과 클라우드에서의
ML
을 비교해 모델을 배포하는 다
양한 방법을 알아봤습니다. 각 방법에는 고유한 이슈가 있습니다. 온라인 예측을 사용하면 모
델이 사용자의 선호도 변경에 더 잘 반응하지만 추론 레이턴시라는 문제가 있습니다. 배치 예
측은 모델이 예측을 생성하는 데 너무 오래 걸릴 때 해결책이 되지만 모델 유연성이 떨어진다
는 문제가 있습니다.
마찬가지로 클라우드에서 추론을 수행한다면 설정하기는 쉽지만 네트워크 레이턴시와 클라우
드 비용이 커지면 실용성이 떨어집니다. 에지에서 추론을 수행하려면 충분한 연산 성능, 메모
리 및 배터리를 갖춘 에지 디바이스가 필요합니다.
배치 예측배치 예측
에지 컴퓨팅
배치 예측배치 예측
클라우드 컴퓨팅
온라인 예측온라인 예측
에지 컴퓨팅
온라인 예측온라인 예측
클라우드 컴퓨팅
하드웨어 제약
높음높음
낮음
하드웨어가 강력해짐
예: 안드로이드
지문 잠금
예: 넷플릭스
추천 시스템
예: 구글 어시스턴트
모델 추론 레이턴시모델 추론 레이턴시
그림
7-16
하드웨어가 강력해짐에 따라
ML
모델은 온라인 및 에지로 이동합니다. ...