트랜스포머 트랜스포머: 최종 가이드 (Korean Edition)

제1장. 제1원리에서 최첨단 트랜스포머까지

이 작품은 AI를 사용하여 번역되었습니다. 여러분의 피드백과 의견을 환영합니다: [e-mail]

2017년 ' '가 발표된 이래, 트랜스포머 아키텍처는¹ 는 자연어 처리(NLP) 분야를 혁신적으로 변화시켰으며, 자연어 이해(NLU)가 가능한 모델로의 패러다임 전환을 가져왔습니다. 이러한 전환은 트랜스포머가 순차적 데이터를 병렬로 처리함으로써, 롱 숏텀 메모리(LSTM) 네트워크 와 같은 기존의 순차적 모델로는 달성할 수 없었던, 더 깊고 맥락적인 언어 이해를 가능하게 했기 때문에 가능했습니다.

최근 몇 년간 트랜스포머는 자연어 처리(NLP) 분야의 초기 활용 범위를 넘어 컴퓨터 비전, 음성 인식, 강화 학습, 수학적 연산 등 다양한 분야에 영향을 미치며 진화해 왔습니다. 이러한 적응성 덕분에 기계 번역 분야에서는 문맥을 고려한 번역이 가능해졌으며, 과학 연구 분야, 특히 단백질 구조를 놀라운 정확도로 예측하는 데 있어 상당한 진전이 이루어졌습니다.

가장 주목할 만한 발전 중 하나는 추론 모델 입니다. 이는 강화 학습 을 통해 훈련된 고급 대규모 언어 모델(LLMs) 로, 복잡하고 다단계적인 추론을 수행합니다. 이 모델은 인간의 사고 과정을 모방하여 답변을 내놓기 전에 내부적인 사고의 사슬을 생성합니다. 이 기법은 최종 답에 도달하기 전에 중간 단계들을 먼저 해결합니다.

이 책에서는 독자가 트랜스포머 아키텍처에 대해 어느 정도는 알고 있다고 가정합니다. 아마도 여러분은 《트랜스포머를 활용한 자연어 처리》 (O’Reilly)나 유사한 저서를 읽어보셨을 수도 있습니다. 또한, 여러분은 단순히 트랜스포머에 호기심이 있어서 이 책을 읽는 것이 아니라고 생각합니다. 여러분은 트랜스포머를 활용해 실제 애플리케이션을 구축하고, 이를 올바르게 구현하고자 이 자리에 계신 것입니다.

이 장에서는 트랜스포머 아키텍처에 대한 집중적인 복습을 통해, 이후장에서 다룰 NLP를 넘어선 더 고급적이고 복잡한 모델들을 다루기 위한 토대를 마련합니다.

기본 트랜스포머 아키텍처부터 시작하여, 더 긴 컨텍스트 처리가 어떻게 가능해지는지 설명하고, 마지막으로 다양한 어텐션 메커니즘을 살펴보겠습니다. 이 장과 이후 장들 전반에 걸쳐, 실제 배포 사례에서 얻은 실용적인 통찰력을 공유할 것입니다. 이를 통해 제 경험을 바탕으로 이론이 실제 운영 환경이라는 현실과 마주할 때 중요한 패턴, 함정, 원칙을 배우실 수 있을 것입니다.

트랜스포머 기초

이 ' ' 섹션에서는 인코더와 디코더, 위치 임베딩, 어텐션 메커니즘 등 원본 트랜스포머 모델의 주요 아키텍처 구성 요소를 설명합니다.

이 트랜스포머 아키텍처는 원래 토큰화 개념이 중요한 역할을 하는 까다로운 시퀀스-투-시퀀스(sequence-to-sequence) 작업인 기계 번역을 위해 개발되었습니다. 토큰화는 문장과 같은 시퀀스를 트랜스포머가 효과적으로 처리할 수 있는 관리 가능한 단위, 즉 토큰으로 분할합니다. 예를 들어,다음 문장에서:

The Transformer ...