LLM 서비스 및 최적화 실습하기 (Korean Edition)

제1장. 모델 서빙 및 최적화소개

이 작품은 AI를 사용하여 번역되었습니다. 여러분의 피드백과 의견을 환영합니다: [e-mail]

지난 10년 동안 AI 시스템은 오프라인 연구용 프로토타입에서 일상적인 제품에 내장된 실시간 사용자 대응 기능으로 진화했습니다. 현대적인 AI 워크플로는 데이터 수집과 모델 훈련부터 배포, 모니터링, 지속적인 반복에 이르기까지 전체 라이프사이클을 아우르며, Deep Learning과 LLMs의 부상으로 이 라이프사이클은 극적으로 가속화되었습니다. 점점 더 강력한 모델을 훈련하는 데 많은 관심이 쏠리고 있지만, 프로덕션 환경에서 이러한 모델을 안정적이고 효율적으로 제공하는 것 또한 그만큼 중요해졌습니다.

본질적으로 모델 서빙은 AI 모델을 최종 사용자, 애플리케이션 및 시스템이 이용할 수 있도록 하는 과제를 해결하는 프로세스로 , API, 웹 서비스 또는 통합 워크플로를 통해 작동하여 이전에 본 적 없는 새로운 데이터에 대해 예측( 추론이라고 함)을 생성합니다.

간단한 비유를 들자면, 고객에게 AI 기능을 제공하든 운영 효율성을 높이든 모든 종류의 비즈니스에 있어 모델 서빙은 일종의 공급망입니다. 훈련된 모델은 적절한 지연 시간, 신뢰성, 비용 특성을 갖추고 사용자에게 전달되지 않는 한 비즈니스적 가치가 거의 없습니다. 예를 들어, Amazon과 넷플릭스는 사용자가 콘텐츠를 탐색할 때 고객 추천을 즉시 업데이트하기 위해 모델 서빙을 사용합니다. 은행은 온라인 쇼핑 결제 시 사기 거래를 차단하기 위해 모델 서빙을 활용하며, 항공사 챗봇은 실시간 항공편 업데이트와 재예약 옵션을 제공하기 위해 이를 사용합니다. 이러한 기업들의 경우 모델 서빙 시스템이 중단되면 비즈니스가 멈춰버립니다.

모든 제조업체가 효율적이고 비용 효율적인 공급망을 추구하는 것처럼, AI 기업들도 프로덕션 환경에서 모델과 하드웨어를 효율적이고 효과적으로 활용하고자 합니다. 따라서 올바른 모델 서빙 방식을 선택하고 이를 최적화하는 것은 매우 중요합니다. 이는 기업의 생명선과 운영 비용에 직접적인 영향을 미치기 때문입니다. 어떤 역할을 맡고 있든, AI 업계에 종사한다면 모델 서빙에 대한 지식을 갖추는 것이 도움이 될 것입니다.

10년 넘게 모델 서빙 인프라를 다뤄온 기술 리더로서, 우리는 연구원, 개발자, 경영진, 마케팅 담당자, 고객, 학생 등 이 분야의 다양한 관계자들과 협력해 왔습니다. 우리는 사람들이 모델 서빙을 처음 이해하려고 할 때 종종 위축되거나 압도감을 느낀다는 사실을 발견했습니다. 여기에는 세 가지 주요 이유가 있습니다. 첫째, 이미 모델 훈련에 대한 깊은 지식이 있어야 합니다. 둘째, 아직까지 입문 튜토리얼에서 세계적 수준의 서빙 시스템 관리에 이르는 명확한 학습 경로가 마련되어 있지 않습니다. 셋째, 프레임워크, 라이브러리, 벤더 및 기타 엔지니어링 옵션이 너무 많아 어떤 것을 채택할지 결정하기 어려울 수 있습니다. 이 책은 모델 서빙과 최적화에 대한 체계적이고 실용적인 가이드를 제공함으로써 ...