파이토치로 배우는 LLM & AI

323

12

장

추론의 개념

RGB 이미지

H 항목 N=2

H 항목 N=1

H 항목 N=0

N

W

빨강 채널 (C=0) 초록 채널 (C=1)

파이토치 텐서 크기: [N, C, H, W] = [3, 3, 4, 5]

파랑 채널 (C=2)

그림

12-2

컬러 이미지의 배치를 나타내는 텐서

12.3

텍스트 데이터

일반적으로 텍스트는 ‘

The

cat

sat

on

the

mat

’와 같은 문자열로 저장되지만, 이러한 텍스트

로 모델을 훈련하거나 사전 훈련된 모델에 전달할 수 없습니다. 이전 장에서 본 것처럼 모델은

수치 데이터에서 훈련됩니다. 따라서 최선의 방법은 텍스트를

토큰화

tokenization

해 단어나 부분

단어

subword

를 숫자로 변환하거나

임베딩

embedding

을 계산해 텍스트를 벡터로 변환하는 것입니다.

텍스트에 대한 임베딩을 계산한다면 텍스트에 대한 감정을 벡터의 방향으로 인코딩할 수도 있

습니다 (

6

장 참조).

다음 문장을 예로 들어 보겠습니다.

texts = [

"I love my dog",

"The manatee became a doctor"

]

토크나이저를 사용해 이 텍스트를 일련의 숫자로 토큰화할 수 있습니다.

5

장에서 했던 것처럼

324

2

부

모델 사용

말뭉치에서 토큰화된 단어의 숫자 목록을 직접 만들거나, 다음처럼 기존의 모델을 사용할 수

있습니다.

import ...