LLMOps

6장. API 우선 LLM 배포

이 작품은 AI를 사용하여 번역되었습니다. 여러분의 피드백과 의견을 환영합니다: [e-mail]

어떤 도구를 선택하느냐에 따라 LLM을 배포하는 데 성공하거나 실패할 수 있습니다.

오픈 소스 도구는 더 많은 제어 기능을 제공하지만 더 많은 작업을 수행해야 하는 반면, 관리형 서비스는 설정 및 확장이 더 쉽지만 비용이 더 많이 드는 경우가 많습니다. 오픈 소스 도구와 데이터의 인기 있는 저장소 에는 토큰화, 미세 조정, 데이터 처리와 같은 작업에 도움이 되는 사전 학습된 모델과 도구가 많이 포함되어 있습니다.

어떤 비즈니스 모델을 선택하느냐에 따라 수익, 비용, 사용자 경험에 영향을 미치며, 따라서 배포 결정에도 영향을 미칩니다. 사용자의 요구 사항을 이해하고, 비용을 평가하고, 경쟁 업체를 고려하면 요구 사항을 충족하고 사용자에게 가치를 제공하는 비즈니스 모델을 선택할 수 있습니다. 옵션은 다음과 같습니다:

서비스형 인프라(IaaS)

이 모델은 자체 LLM 애플리케이션을 구축 및 배포하고 싶지만 기본 인프라를 관리하고 싶지 않은 조직에 적합합니다.

IaaS를 사용하면 조직은 상당한 초기 투자 없이도 컴퓨팅 리소스를 빠르고 쉽게 프로비저닝하고 구성할 수 있습니다. 인프라에 대한 유연성과 제어 기능을 제공하므로 조직은 특정 요구 사항에 맞게 환경을 맞춤 설정하고 최적화할 수 있습니다.

IaaS는 자체 애플리케이션과 인프라를 관리할 수 있는 전문 지식과 리소스가 있는 조직에 적합합니다. 하지만 다른 비즈니스 모델보다 높은 수준의 기술 전문 지식과 관리가 필요합니다.

서비스형 플랫폼(PaaS)

이 모델은 기본 인프라에 대한 걱정 없이 쉽고 빠르게 LLM 애플리케이션을 구축 및 배포하려는 조직에 적합합니다.

PaaS를 사용하면 조직은 상당한 초기 투자나 기술 전문 지식 없이도 애플리케이션 구축 및 배포에만 집중할 수 있습니다. 단순화되고 간소화된 개발 및 배포 프로세스를 제공하므로 조직은 애플리케이션을 신속하게 빌드하고 배포할 수 있습니다.

PaaS는 LLM 애플리케이션을 신속하게 빌드하고 배포하려는 조직에 적합합니다. 하지만 다른 비즈니스 모델과 동일한 수준의 유연성과 제어 기능을 제공하지 못할 수도 있습니다.

서비스형 소프트웨어(SaaS)

SaaS를 사용하면 조직은 상당한 초기 투자나 기술 전문 지식 없이도 웹 인터페이스 또는 API를 통해 LLM의 기능에 액세스할 수 있습니다. 이 모델은 간소화되고 능률적인 사용자 경험을 제공하므로 조직이 LLM 기능에 빠르고 쉽게 액세스할 수 있습니다.

SaaS는 상당한 기술 전문 지식이나 관리 없이 쉽고 빠르게 LLM 기능에 액세스하려는 조직에 적합합니다. 하지만 다른 비즈니스 모델과 동일한 수준의 유연성 및 제어 기능을 제공하지 못할 수도 있습니다.

오늘날 대부분의 회사는 LLM을 IaaS로 사용하거나 API를 통해 SaaS 서비스를 제공하는 중간 단계에 있으며, 이 경우 통합은 매우 간단합니다. ...