LLMOps

3장. LLM 기반 애플리케이션

이 작품은 AI를 사용하여 번역되었습니다. 여러분의 피드백과 의견을 환영합니다: [e-mail]

2025년 초 현재( ), 텍스트, 이미지, 사운드 및 비디오와 같은 기타 미디어를 이해하고 생성할 수 있는 대규모 멀티모달 모델을 제공하는 회사는 소수에 불과합니다. 간결함을 위해 이러한 모델을 AI 모델이라고 부르겠습니다. 가장 잘 알려진 예로는 OpenAI에서 만든 GPT 모델()이 있지만, 그 외에도 Google에서 만든 Gemini 모델, Anthropic에서 만든 클로드 소네트 및 하이쿠 모델, Meta에서 만든 라마 모델 등이 유명합니다.

대부분의 경우 이러한 회사들은 다른 회사와 협력하여 이러한 모델을 Cloud 서비스로 제공합니다. 예를 들어, OpenAI( )는 Microsoft와 파트너십을 맺고 API를 통해 액세스할 수 있는 Cloud 서비스에서 OpenAI의 모델을 호스팅할 수 있는 인프라를 제공합니다. Meta와 같은 다른 회사에서는 사용자가 자체 인프라에 설치할 수 있는 사전 학습된 모델의 가중치가 포함된 대용량 바이너리 파일인 모델 스냅샷을 제공합니다. 이 인프라는 회사가 소유한 물리적 머신을 의미하는 "베어 메탈" 또는 다른 공급자로부터 구매한 Cloud 인프라가 될 수 있습니다.

모델 구축 회사는 사용자 대상 애플리케이션도 제공합니다. 대부분의 경우 모델 이름과 사용자 대면 애플리케이션의 이름이 동일하거나 매우 유사하기 때문에 두 가지를 혼동하기 쉽습니다. 예를 들어, 구글 제미니( ) 애플리케이션은 구글 제미니 모델을 사용하고, 클로드 애플리케이션은 앤트로픽 클로드 소네트 및 하이쿠 모델을 사용합니다. OpenAI의 이름은 약간 다릅니다. 사용자 대상 애플리케이션인 ChatGPT는 사용자가 GPT-4o 및 GPT-4o-mini 모델과 상호 작용할 수 있도록 합니다.

이러한 애플리케이션은 서로 다른 수준의 정교함을 가질 수 있습니다. 가장 간단한 유형의 애플리케이션은 사용자가 모델에 직접 프롬프트를 보내고 응답을 반환하는 채팅형 웹 인터페이스입니다. 요즘 대기업에서 제공하는 대부분의 애플리케이션은 이보다 더 정교합니다. 단순히 프롬프트를 직접 전달하는 대신 사용자 입력에 여러 계층의 자체 지침을 추가하고, 사용자가 해당 대화(때로는 이전 세션 )에서 무엇을 물었는지 추적하며, 사용자가 제출한 프롬프트를 수정하여 더 나은 응답을 얻을 가능성을 높이고, 안전하고 정중한 답변을 보장합니다.

이러한 추가 프롬프트와 안전장치를 통해 사용자는 API를 통해 모델과 상호 작용할 때와 기본 웹 애플리케이션을 통해 모델과 상호 작용할 때 서로 다른 답변을 받게 됩니다. 예를 들어, 사용자가 chatgpt.com을 통해 웹에서 ChatGPT와 상호작용하는 경우 동일한 프롬프트를 API를 사용하여 모델에게 직접 제출할 때와는 다른 답변을 받을 수 있습니다. ChatGPT의 답변은 이전 채팅의 데이터를 사용할 수 있으며 사용자가 제공한 프롬프트에 몇 가지 추가 ...