LLMOps

2장. LLMOps 소개

이 작품은 AI를 사용하여 번역되었습니다. 여러분의 피드백과 의견을 환영합니다: [e-mail]

LLMs 아키텍처의 크기와 복잡성 때문에 이러한 모델을 프로덕션화하기가 매우 어려울 수 있습니다. 프로덕션화란 단순히 모델을 배포하는 것뿐만 아니라 모니터링, 평가, 성능 최적화를 의미합니다.

끊임없이 새로운 과제가 발생합니다. 애플리케이션에 따라 데이터 처리 방법, 프롬프트를 저장하고 동적으로 조정하는 방법, 사용자 상호 작용을 모니터링하는 방법, 그리고 가장 시급한 문제인 모델이 잘못된 정보를 퍼뜨리거나 학습 데이터를 암기하는 것을 방지하는 방법(이로 인해 개인 정보가 유출될 수 있음) 등이 여기에 포함될 수 있습니다. 그렇기 때문에 프로덕션 환경에서 일상적으로 관리해야 하는 LLM을 운영하려면 새로운 프레임워크가 필요합니다.

LLMOps는 LLM 애플리케이션을 프로덕션에 적용하기 위한 운영 프레임워크입니다. 이름과 원칙은 형제격인 MLOps와 DevOps에서 영감을 받았지만, LLMOps는 훨씬 더 미묘한 차이가 있습니다. LLMOps 프레임워크는 기업이 기술 부채를 줄이고, 규정 준수를 유지하고, LLM의 역동적이고 실험적인 특성을 처리하고, 일반적인 함정을 피함으로써 운영 및 평판 리스크를 최소화하는 데 도움이 될 수 있습니다.

이 장에서는 먼저 LLM이 무엇이며 MLOps에서 어떻게 그리고 어디에서 출발하는지 설명합니다. 그런 다음 LLMOps 엔지니어의 역할과 기존 ML 팀에서 LLMOps가 어디에 적합한지 소개합니다. 그런 다음 팀 내에서 LLMOps 준비 상태를 측정하고, 조직의 LLMOps 성숙도를 평가하고, 성공을 측정하기 위한 중요한 KPI를 식별하는 방법을 살펴봅니다. 이 장의 마지막에는 LLM 애플리케이션 프로덕션과 관련된 몇 가지 과제에 대해 간략하게 설명합니다.

운영 프레임워크란 무엇인가요?

운영 프레임워크 ( )는 조직 내에서 복잡한 워크플로와 파이프라인을 관리하기 위한 구조화된 접근 방식을 제공합니다. 이러한 프레임워크는 조직 프로세스를 자동화 및 간소화하고 프로젝트 수명 주기 전반에 걸쳐 일관성과 품질을 보장하기 위해 도구와 관행을 통합합니다.

초기의 운영 프레임워크 중 일부는 군사 전략과 산업 혁명으로 거슬러 올라갈 수 있습니다. 가장 유명한 두 가지( )는 1986년에 도입된 Toyota의 린 생산 시스템으로, 동시대 대부분의 경쟁사보다 앞서게 한 Toyota의 린 생산 시스템( )과 프로세스를 개선하고 결함을 줄이기 위한 Motorola의 데이터 기반 접근 방식인 식스 시그마(Six Sigma)입니다.

2008년, 기술 업계는 현재 소프트웨어 업계에서 가장 인기 있는 운영 프레임워크 중 하나인 데브옵스를 도입하기 시작했습니다: DevOps. (이 용어는 소프트웨어 개발과 운영을 결합한 용어입니다.) 2018년에는 비제너레이티브 머신 러닝(ML) 모델을 위한 운영 프레임워크인 MLOps( )가 화제가 되었고, 이후 SecOps(보안 운영), ...