에이전트 기반 시스템은 실제 응용 분야를 위해 개발될 때 큰 잠재력을 지닙니다. 그러나 이러한 응용 분야는 일반적인 LLMs의 경우와 달리 텍스트 기반 정보에만 국한되지 않습니다. 에이전트는 동영상을 처리하거나, 웹사이트 디자인을 평가하기 위해 이미지를 분석하거나, 사용자의 음성 요청을 청취할 수 있어야 할 수도 있습니다.
글로 쓰인 텍스트뿐만 아니라 이미지, 오디오, 동영상 등 다양한 유형의 정보를 이해하는 것을 다중 모달 이해라고 합니다. 동영상을 시청하면서 자막을 읽을 때, 뇌는 이러한 모든 신호를 통합하여 하나의 명확한 이해로 만들어냅니다.
다중 모달 LLMs은 이와 유사한 방식으로 작동하도록 설계되었습니다. 즉, 여러 종류의 입력(서로 다른 모달리티)을 받아들여 이를 함께 처리함으로써 더 정확한 응답을 도출하는 것입니다. 텍스트를 읽거나 작성할 수만 있는 에이전트는 애플리케이션의 UI를 개발하거나, 웹사이트의 이미지와 텍스트를 처리해야 하는 에이전트 기반 브라우저와 같은 일상적인 상황에서 일어나는 중요한 부분들을 놓치게 될 것입니다.
일부 다중 모달 LLMs은 서로 다른 모달리티를 처리할 뿐만 아니라 이를 출력할 수도 있습니다. LLM이 텍스트뿐만 아니라 오디오나 이미지도 출력할 수 있는 시스템을 상상해 보세요. 이러한 모델은 자신의 “목소리”를 사용하여 사용자와 대화하거나, 웹사이트에 사용할 스톡 이미지를 생성할 수 있습니다.
다중 모달 LLMs은 단일 에이전트 및 다중 에이전트 시스템(MAS)에서 중요한 위치를 차지합니다. 모든 종류의 정보를 처리할 수 있기 때문에, 이러한 시스템의 핵심 “두뇌” 역할을 하며 작업을 더 효과적으로 위임할 수 있습니다.GPT-5, Google Gemini 3.0, 그리고 Claude 4.5 모델 계열과 같은 모델들은 단순한 텍스트 이상의 정보를 처리할 수 있는 LLMs의 훌륭한 예시입니다. 이러한 모델들은 이미지나 오디오와 같은 다른 모달리티도 처리할 수 있을 뿐만 아니라, 이에 대해 추론까지 할 수 있습니다. 이러한 다중 모달 LLM(MLLM)은 모델의 활용 방식과 외부 세계와의 상호작용 방식을 근본적으로 변화시킵니다.
이 장에서는 MLLM이 어떻게 만들어지는지, 그리고 다양한 사용 사례에서 여러 유형의 모달리티를 어떻게 이해할 수 있는지 살펴보겠습니다.
다중 모달 LLMs이란 무엇인가?
MLLM 은 텍스트 이외의 더 다양한 유형의 입력(모달리티)을 처리 및/또는 생성할 수 있는 LLM입니다. 일반적인 모달리티로는 텍스트, 이미지, 오디오, 비디오 입력이 있습니다(그림 9-1).
그림 9-1. 다중 모달 LLMs은 여러 입력 모달리티를 처리하고/또는 ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month, and much more.
O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.
Julian F.
Head of Cybersecurity
I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.
Addison B.
Field Engineer
I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.
Amir M.
Data Platform Tech Lead
I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.
O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.
