핸즈온 LLM

138

2부 사전 훈련된 언어 모델 사용하기

4

.

6

절은 생성 모델을 다룹니다. 생성 모델의 대부분은 분류에 사용할 수 있습니다. 오픈 소스

모델은 물론 클로즈드 소스 언어 모델도 다루겠습니다.

이 장은 대규모 데이터에서 이미 훈련되어 텍스트 분류에 활용할 수 있는 사전 훈련된 언어 모

델을 활용하는 데 초점을 맞춥니다. [그림

4

-

2

]에 나타나 있듯이 표현 언어 모델과 생성 언어

모델을 살펴보고 둘의 차이점을 알아보겠습니다.

입력

입력

출력

출력

(텍스트에 가장 잘

맞는 카테고리)

입력 텍스트를

포함한 분류용

프롬프트

표현 언어 모델

목표: 분류

클래스:

0

,

1

,

2

입력 텍스트의

클래스는

‘

1

: 환불’입니다

생성 언어 모델

목표: 분류

그림

4-2

표현 모델과 생성 모델은 모두 분류에 사용할 수 있지만 접근 방식이 다릅니다.

이 장에서 생성 모델과 표현 모델을 포함해 다양한 언어 모델을 소개합니다. 이런 모델을 로드

하고 사용하기 위한 패키지도 다루겠습니다.

TIP

이 책이

LLM

에 초점을 맞추고 있더라도 예제는 고전적이지만 강력한 기본 모델과 비교하는 것이 좋습니다.

예를 들어

TF

-

IDF

로 텍스트를 표현하고 이를 사용해 로지스틱 회귀 모델을 훈련할 수 있습니다.

1

4.1

영화 리뷰 데이터셋

허깅 페이스 허브에는 모델은 물론 데이터셋도 있기 때문에 텍스트 분류를 위한 데이터도 ...