LLMOps

서문

이 작품은 AI를 사용하여 번역되었습니다. 여러분의 피드백과 의견을 환영합니다: [e-mail]

"LLM/AI 엔지니어와 LLMOps 엔지니어의 차이점이 무엇인가요?"라는 질문을 몇 번이나 받았는지 셀 수 없을 정도로 많이 들었습니다. 회의 중이든, 컨퍼런스에 참석 중이든, 현장에서 누군가와 커피를 마실 때든 이 질문은 계속 튀어나오는 질문 중 하나입니다.

예전에는 역할 간의 기술적 차이점을 설명하는 것으로 시작하곤 했습니다. 하지만 시간이 지나면서 사람들이 장기간에 걸쳐 프로덕션에서 대규모 언어 모델(LLM)을 사용하는 데 필요한 사항을 완전히 이해하지 못한다는 사실을 깨달았습니다.

2025년 초에 이 글을 쓰고 있는 지금, 최고의 모델, 기술 및 모범 사례는 며칠마다 바뀌고 있습니다. 따라서 그 복잡성을 이해하는 사람은 거의 없습니다. 대부분의 사람들은 여전히 운영, 즉 '운영'을 배포로 생각하지만, LLM 맥락에서 운영은 실제로 이러한 모델을 안전하고 견고하며 신뢰할 수 있도록 인력, 프로세스 및 기술을 간소화하는 것입니다.

기업과 인사 부서는 이 모든 것이 팀과 프로젝트에 어떤 의미가 있는지 파악하기 위해 애쓰고 있으며, 이 책에서 저는 그 질문에 답하기 위해 최선을 다했습니다. 이 책은 역할 정의나 LLM을 구축하고 배포하는 방법에 대한 튜토리얼이 아닙니다. 이 두 가지 주제를 모두 다루고 있지만 그것만으로는 충분하지 않습니다. LLM 기반 애플리케이션이 운영되고 나면 누군가는 이를 계속 최적화해야 하며, 그렇지 않으면 단순한 문제에 대해 과도하게 설계된 솔루션이 되거나, 더 나쁜 경우 높은 수요나 신속한 인젝션 공격에 무너지는 유지 관리가 제대로 되지 않는 카드의 집이 될 위험이 있습니다.

전통적인 소프트웨어 개발(또는 소프트웨어 2.0)에서는 리드 개발자에게 전체 제품을 빌드하고 유지 관리하도록 요청하지 않습니다. 소프트웨어 개발 엔지니어가 빌드하고 안정성 엔지니어가 유지 보수합니다. LLM을 구축하고 유지 보수하는 데도 이와 유사한 업무 분리가 필요합니다. 소프트웨어 3.0에서는 LLM/AI 엔지니어가 빌드하고 LLMOps 엔지니어가 유지 보수합니다!

머신 러닝 작업(MLOps) 이 LLMOps의 기본이지만, 엔지니어가 구조화된 데이터와 판별 모델 작업을 통해 습득한 MLOps 기술이 생성 모델에 완전히 적용되지는 않습니다.

요컨대, 데이터 엔지니어링부터 모델 배포 및 API 설계, 모니터링, 보안, 리소스 최적화에 이르기까지 전체 LLM 기반 애플리케이션 수명 주기의 고유한 측면을 이해하는 데 도움을 드리고자 이 책을 집필했습니다. LLM 데이터, 모델 및 애플리케이션을 구축, 유지 관리 및 최적화할 때 의사 결정을 내릴 수 있는 강력한 토대를 제공하고자 합니다.

이 책에서 사용된 규칙

이 책에서는 다음과 같은 인쇄 규칙이 사용됩니다:

이탤릭체

새 용어, URL, 이메일 주소, 파일 이름 및 파일 확장자를 나타냅니다.

Constant width

프로그램 목록은 물론 단락 ...