트랜스포머 트랜스포머: 최종 가이드 (Korean Edition)

제10장. 더 똑똑하게 , 더 잘, 더 빠르게, 더 강력하게: LLMs과 AI 에이전트 최적화

이 작품은 AI를 사용하여 번역되었습니다. 여러분의 피드백과 의견을 환영합니다: [e-mail]

이 책 『 』에서 보았듯이, 트랜스포머는 다재다능한 모델입니다. 텍스트를 생성하고, 음악을 작곡하며, 코드를 작성하고, 이미지를 생성하거나 분류할 수 있습니다. 또한, 체인 오브 씽크(Chain of Thought)와 결합된 종단 간 강화 학습이 내부 추론을 촉발하고 모델이 더 복잡한 문제를 해결하는 데 도움이 된다는 사실을 배웠습니다. 또한, 문제를 하위 문제로 분할하고 언어 모델이 다중 에이전트 시스템에서 협업하도록 허용하면, 이를 통해 어려운 과제를 해결할 수 있는 강력한 도구로 변모시킬 수 있다는 점도 이해하게 되었습니다.

하지만 작업의 복잡성이 증가함에 따라 이러한 능력만으로는 부족합니다. 확장된 추론, 다단계 의사 결정, 그리고 생산 환경 수준의 신뢰성을 요구할 때 약점이 드러납니다. 최적화 없이는 아무리 거대한 모델이나 최첨단 에이전트 시스템이라도 복잡한 추론 체인에서 문제를 겪거나, 사소한 문제에 연산 자원을 낭비하거나, 실제 배포 환경에서 적응하지 못할 수 있습니다.

최적화는 바로 그 빠진 퍼즐 조각입니다. 생각해 보면, 세계적 수준의 운동선수들은 재능이나 꾸준한 연습만으로는 성공하지 않습니다. 그들은 목표 지향적인 훈련, 회복, 영양 관리, 정신적 준비를 아우르는 생태계에 의존합니다. 마찬가지로, 트랜스포머도 사전 학습이나 지도 학습 기반 미세 조정만으로는 충분하지 않습니다. 강화 신호, 적응형 추론 전략, 효율적인 테스트 시점 확장성, 그리고 강력한 시스템 수준의 인프라가 필요합니다. 실무적으로 이는 정책과 보상을 정교화하는 사후 훈련 프레임워크를 통해 기본 모델을 뛰어넘고, 모델에게 언제 생각하고 언제 행동해야 하는지 가르치며, 효과적인 검색을 위해 추론 시 컴퓨팅 자원을 확장하고, 실제 워크로드를 처리하는 동안 정책이 개선되도록 프로덕션 환경에서 가중치를 신속하게 업데이트하는 것을 의미합니다. 표 10-1은 이러한 최적화 생태계를 요약합니다.

표 10-1. 에이전트형 LLMs을 위한 최적화 생태계의구성 요소

개념	구성 요소	역할	예시
훈련 시간 최적화	ART, GRPO, RULER	RL을 활용한 추론, 도구 사용 및 의사결정 정책 개선	RULER를 이용한 상대적 궤적 순위 지정
추론 시간 확장	AdaptThink, 검색 방법(예: ETS)	난이도에 따라 연산 자원을 할당하고, 사고와 행동의 시점을 결정	AdaptThink를 활용한 난이도 기반 CoT
오픈 RL 프레임워크	rLLM, verl	분산 롤아웃, 훈련 및 평가	GRPO를 활용한 코딩 에이전트 훈련
시스템 수준 인프라	체크포인트 엔진	학습기에서 액터로 업데이트된 가중치를 신속하게 배포	프로덕션 환경에서의 정책 갱신

다음 섹션에서는 이 최적화 생태계의 각 부분을 차례로 살펴봅니다. 훈련 시점 최적화에서는 ...