파이토치로 배우는 LLM & AI

387

15

장

트랜스포머와 transformers

이제 방향을 바꾸어 트랜스포머 기반 모델을 손쉽게 사용할 수 있게 도와주는 허깅 페이스의

transformers

API

를 알아보죠.

15.3

transformers

API

transformers

는 파이썬과 파이토치를 사용하는 사전 훈련된 모델을 다루기 위한

API

를 제공

합니다. 이 라이브러리의 성공에는 세 가지 요인이 있습니다. 사전 훈련된 모델을 사용하기 위

한 단순한 인터페이스, 광범위한 사전 훈련된 모델 컬렉션(

14

장 참고 ), 빠른 개선과 새로운 모

델 추가를 위해 기여하는 활발한 커뮤니티입니다.

이 라이브러리는

NLP

를 넘어 발전하고 있으며 컴퓨터 비전, 오디오 처리, 멀티모달 작업과 같

은 다양한 종류의 모델을 지원합니다. 원래 트랜스포머 기반 구조의 목표는 한 토큰 시퀀스 다

음에 또 다른 토큰 시퀀스가 등장하는 방식을 효과적으로 학습하는 것이었습니다. 이 아이디어

를 기반으로 구축된 혁신적인 모델들이 소리와 같은 개념을 토큰 시퀀스로 표현할 수 있게 되

었습니다. 결과적으로 트랜스포머는 소리의 패턴을 학습할 수 있습니다.

개발자를 위해

transformers

는 여러 추상화 수준을 제공합니다.

14

장에서 살펴본 고수준 파

이프라인

API

는 일반적인 작업을 위해 바로 모델을 활용할 수 있도록 만들어 줍니다. 반면 저

수준 인터페이스는 세밀한 제어를 제공하며 사용자 정의 구현을 만들 수 있습니다. 또한 이 라

이브러리는 모듈식으로 설계되어 있어서 개발자가 토크나이저, 모델, 옵티마이저와 ...