파이토치로 배우는 LLM & AI

368

2

부

모델 사용

NOTE

_

혼동을 피하기 위해 아키텍처, 모델, 개념을 나타낼 때는 트랜스포머(대문자

T

로 시작하는

Transformer

)라고 하고, 허깅 페이스 라이브러리를 의미할 때는 (소문자

t

로 시작하는)

transformers

로 사

용했습니다.

15.1

트랜스포머 이해하기

앞에서 언급한 원본 논문이 발표된 이후 트랜스포머 분야가 진화하고 성장했지만 기반 개념은

거의 동일하게 유지되었습니다. 이 절에서 이에 대해 살펴보겠습니다.

(허깅 페이스뿐만 아니라 )

LLM

을 다룰 때 인코더, 디코더, 인코더-디코더라는 용어를 듣게

됩니다. 이들에 대해 고수준에서 이해하고 있는 것이 좋습니다. 각 구조는 서로 다른 방법으로

텍스트를 다룹니다(처리, 분류, 생성 등). 구조마다 특정 시나리오에 강점을 가지고 있으므로

적절한 것을 선택하기 위해 잘 이해하는 것이 좋습니다.

15.1.1

인코더 구조

인코더 기반 구조(예를 들면

BERT

나

RoBERTa

)는 텍스트 처리에 엄격하기 때문에 일반적으

로 텍스트 이해에 뛰어납니다. 태생적으로 양방향으로 텍스트를 처리하며 전체 입력 시퀀스를

동시에 볼 수 있습니다. 이런 특성 덕분에 텍스트와 의미를 이해하고 해석하는 작업에 효과적

입니다. 분류, 개체명 인식

named

-

entity

recognition

또는 질문 ...