파이토치로 배우는 LLM & AI

400

2

부

모델 사용

16.1

LLM

미세 튜닝

BERT

와 같은

LLM

을 미세 튜닝하는 방법을 단계별로 살펴보겠습니다.

IMDb

데이터셋을 사

용해 영화 리뷰에 있는 감성을 잘 감지하도록 모델을 미세 튜닝합니다. 이 과정은 여러 단계로

구성되며, 각 단계를 자세히 살펴보겠습니다.

16.1.1

설정과 필요 패키지

먼저 파이토치로 미세 튜닝하는 데 필요한 것을 준비해 보죠. 기본적인 것 외에도 세 개의 새로

운 패키지가 필요합니다.

•

datasets

:

4

장에서 데이터셋을 다루었습니다. 이를 사용해

IMDb

데이터셋을 로드하고 훈련 및 테스트

세트로 분할합니다.

•

evaluate

: 이 라이브러리는 성능을 측정하기 위한 도구를 제공합니다.

•

transformers

:

14

장과

15

장에서 다루었듯이 허깅 페이스 라이브러리

transformers

는 손쉽게

LLM

을

사용하도록 도와줍니다.

이 장의 미세 튜닝 예제를 위해 허깅 페이스

transformers

라이브러리에서 몇 개의 클래스를

임포트해서 사용합니다. 여기에는 다음과 같은 클래스가 포함됩니다.

•

AutoModelForSequenceClassification

: 이 클래스는 분류 작업을 위해 사전 훈련된 모델을 로드하고

베이스 모델 상단에 분류 헤드를 추가합니다. 이 분류 헤드는 미세 튜닝하는 특정 분류 시나리오에 맞게

최적화됩니다. 모델 이름을 지정하면 모델 구조를 자동으로 로드하고 분류 헤드를 추가합니다. 따라서 선

형 분류기 층을 가진

BERT

모델을 사용하려면

bert-base ...