의 모델이 아닌 여러 모델의 역량을 결합해 후속 작업에 활용하고 싶을 것입니다. 이를 실현하
는 방법으로는 모델 앙상블
model
ensembling
, 모델 융합
model
fusion
, 병합
merging
과 같은 다양한 접근이
있습니다. 이 영역은 아직 초기 단계이며, 가능성을 충분히 실현하려면 앞으로 더 많은 연구가
필요합니다. 필자는 이러한 기법의 이론적 기반이 아직 완전히 정립되지 않았다는 점에서 이를
자연어 처리의 흑마법이라 부르곤 합니다. 그렇지만 이미 실무 현장에서는 유의미한 효과가 나
타나고 있으므로 이 책에서 함께 다룰 가치가 있다고 생각합니다. 지금부터 이와 관련된 몇 가
지 방법을 살펴보겠습니다.
7.3.1
모델 앙상블
모델 앙상블은 서로 다른
LLM
들에 각기 다르지만 상호 보완적인 능력이 있을 수 있다는 점에
서 유용합니다. 이는 주로 모델별 훈련 방식이나 하이퍼파라미터 설정 등의 차이 때문에 발생
합니다. 특히 오픈 소스
LLM
은 대부분 유사한 데이터셋으로 학습되었고 평가 지표에서도 서로
비슷한 수준의 성능을 보입니다. 이러한 조건에서 각 모델의 고유한 강점을 결합한다면 더 나
은 출력을 얻을
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month, and much more.
O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.
Julian F.
Head of Cybersecurity
I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.
Addison B.
Field Engineer
I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.
Amir M.
Data Platform Tech Lead
I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.