트랜스포머 트랜스포머: 최종 가이드 (Korean Edition)

제8장. 경험의 시대를맞이하며 : 계획, 추론, 코딩을 위한 트랜스포머

이 작품은 AI를 사용하여 번역되었습니다. 여러분의 피드백과 의견을 환영합니다: [e-mail]

이 『 』의 장은 트랜스포머에 대한 여러분의 탐구에서 중대한 전환점을 의미할 뿐만 아니라, AI가 인간-데이터 중심 접근 방식에서 경험 주도 학습으로 전환되는 시점을 나타내며, 이는 트랜스포머의 활용 및 발전 방향과 깊은 관련이 있습니다.

지금까지 여러분은 트랜스포머가 언어와 시계열 데이터부터 이미지, 비디오, 오디오, 그리고 제7장에서 살펴본 강화 학습(RL)에 이르기까지 다양한 분야의 데이터를 모델링하는 데 어떻게 적용되어 왔는지 살펴보았습니다. 그 장은 이 새로운 시대를 이해하기 위한 토대를 마련해 주었습니다. 트랜스포머의 다음 단계는 단순히 '무엇이 있는가'를 이해하는 것을 넘어, 세상과 능동적으로 상호작용하여 계획하고, 추론하며, 새로운 지식을 창출하는 '무엇을 해야 하는가'를 학습하는 것입니다.

이 장에서는 트랜스포머 기반 모델이 이러한 능력을 구현하도록 어떻게 설계되는지 배웁니다. 트랜스포머가 경험을 통해 학습함으로써 계획, 추론, 코딩 분야에서 뛰어난 성과를 낼 수 있게 하는 다양한 접근 방식과 아키텍처를 살펴볼 것입니다. 여기에는 연속적인 상호작용의 흐름을 처리하는 방법, 객관적으로 검증 가능한 보상을 활용하여 자기 개선을 유도하며 행동을 실행하고 그에 따른 실질적인 결과를 관찰하는 방법, 그리고 인간과는 다른 새로운 추론 전략을 개발하는 방법이 포함됩니다. 강화 학습(RL)을 통해 LLMs이 어떻게 뛰어난 추론 능력을 개발하도록 유도되는지 이해하게 될 것이며, 수학이나 경진 프로그래밍과 같은복잡한 영역에서 모델이 보여주는 “아하(aha) 순간”과 인상적인 성능을 확인할수 있을 것입니다.또한 추론 시점에추론을 촉진하거나, 형성하거나, 심지어 비활성화 및 제한하는방법과, 더 작은 모델이 더 오래 생각하고 더 잘 추론할 수 있도록 전략적으로 시간을 부여하여 결과적으로 더 큰 모델을 능가하는방법을 살펴보게 될 것입니다.

인간 데이터에서 실제 경험으로

년 동안 우리는 데이터의 시대를 목격해 왔습니다. 이제 우리는 『Designing an Intelligence 』(MIT Press) 의 저자이자 RL 분야의 거장인 David Silver 와 Richard S. Sutton 가 “경험의 시대”라고 묘사하는 시대로 접어들고 있습니다. Sutton의 RL에 대한 기초 연구, 특히 시간 차분 학습(temporal difference learning)과 Dyna 아키텍처와 같은 개념은,¹ 지능형 시스템이 시행착오를 통해 어떻게 학습할 수 있는지에 대한 우리의 이해를 형성해 왔습니다.

한 단계 더 도약하기 위해 모델에는 지속적으로 개선되는 새로운 데이터 원천, 즉 모델이 직접 경험한 실전 경험이 필요합니다. 이는 환경과 상호작용하며 자율적으로 학습하고, 모델 자체가 강해짐에 따라 적응하고 진화하는 데이터를 생성하는 것을 의미합니다. ...