트랜스포머 트랜스포머: 최종 가이드 (Korean Edition)

서문

이 작품은 AI를 사용하여 번역되었습니다. 여러분의 피드백과 의견을 환영합니다: [e-mail]

2019년 처음 트랜스포머를 다루기 시작했을 때, 저는 즉시 그 매력에 빠져들었습니다. 2년 후, 저는 어텐션(attention)을 기반으로 한 저만의 Deep Learning 아키텍처를 구축했고, 같은 해 비전 트랜스포머에 관한 첫 대학 강의를 진행했습니다. 그때 저를 놀라게 했고, 오늘날까지도 여전히 놀라게 하는 것은 이 아키텍처가 정말로 얼마나 다재다능한가 하는 점입니다. 트랜스포머가 어떻게 작동하는지 이해하게 되면, 패턴들이 드러나기 시작합니다. 이미지, 비디오, 오디오 등 다양한 영역에 동일한 원리가 적용된다는 사실을 깨닫게 됩니다. 더 깊은 통찰은 Deep Learning에서 흔히 볼 수 있듯이 각 도메인을 별개의 문제로 다루는 데서 오는 것이 아니라, 트랜스포머 아키텍처가 도메인을 넘나들며 얼마나 자연스럽게 확장되는지를 인식하는 데 있습니다.

결과적으로, 개별 토큰을 모델링하든, 이미지 패치를 모델링하든, 스펙트로그램 프레임을 모델링하든 상관없습니다. 핵심 논리는 동일합니다. 표현의 축은 바뀔 수 있지만, 그 기반이 되는 아키텍처는 그대로 유지됩니다. 이것이 적어도 저에게 있어 트랜스포머의 우아함이며, 제가 이 책을 쓰기로 결심한 이유이기도 합니다. 트랜스포머에 대한 저의 열정을 나누고, 여러분이 각자의 속도에 맞춰 그 우아함을 발견할 수 있도록 하기 위해서입니다.

또한 저를 계속해서 매료시키는 것은 트랜스포머가 더 큰 시스템의 일부로 사용될 때 일어나는 현상입니다. 여러 모델을 결합하여 추론하고, 행동하며, 과제를 반복적으로 수행할 수 있는 에이전트를 만들 때 비로소 트랜스포머의 진정한 힘이 드러납니다. 단순히 모델을 연결하는 것을 넘어, 최근 저는 트랜스포머를 테스트 시점 연산(test-time compute) 및 강화 학습과 결합하는 데 주력해 왔습니다. 이 아이디어들이 결합되면 시스템이 스스로 적응하고, 개선하며, 자신의 행동으로부터 학습할 수 있게 됩니다. 이것이 바로 제가 박사 과정 연구에서 자기 개선형 AI 에이전트에 집중하게 된 계기입니다.

이 책을 읽으시면서, 여러분은 다양한 분야에서 트랜스포머가 발전해 온 과정과 제가 트랜스포머를 다루며 걸어온 여정, 그리고 AI 에이전트 구축에 관한 저의 최신 연구까지 함께 살펴보게 될 것입니다. 그 과정에서 저는 아키텍처, 상충 관계, 시스템 행동에 대해 추론할 때 사용하는 제 개인적인 사고방식, 즉 '멘탈 모델'과, 이러한 모델이 실제 설계 결정에 어떤 영향을 미치는지 공유할 것입니다. 저의 목표는 단순히 무엇이 효과가 있는지 보여주는 데 그치지 않고, 왜 효과가 있는지를 이해하도록 돕는 것입니다.

이 책을 다 읽으셨을 때, 여러분도 저와 같은 결론에 도달하시길 바랍니다. 즉, 트랜스포머를 고립된 모델이 아닌 더 큰 시스템 내의 구성 요소로 보는 것입니다. 트랜스포머는 단순한 또 다른 아키텍처가 아닙니다. 그것은 추상화를 위한 프레임워크입니다. ...