파이토치로 배우는 LLM & AI

146

1

부

모델 구축

수에 크게 미치지 못합니다.

만들어진 토크나이저 객체에 텍스트를 전달할 수 있습니다.

# 문장을 토큰화하고 인코딩합니다.

encoded_inputs = tokenizer(sentences, padding=True, truncation=True,

return_tensors='pt')

패딩

padding

과 잘림

truncation

에 대해서는 이 장의 뒷부분에서 자세히 살펴봅니다. 지금은

return

_

tensors

='

pt

'

매개변수를 눈여겨보세요. 이렇게 지정하면 파이토치 개발자가 다루기 편한

torch

.

Tensor

객체가 반환됩니다.

BERT

모델은

attention

_

masking

과 같이 원본 토큰화에 여러 가지 추가 구성 요소를 사용하

며, 원시 토큰 대신 토큰에 대한

ID

를 사용합니다. 이에 대한 내용은 이 장의 범위를 벗어나지

만, 지금 당장은 이런 상세 내용을 모두 알 필요는 없습니다. 단순히 토큰을 확인하려면 다음과

같이 토큰을 추출할 수 있습니다. 문장은

BERT

토크나이저 내에서

input

_

ids

로 인코딩되었

다는 점에 유의하세요.

# 입력에 대한 토큰 확인(출력을 이해하는 데 도움이 됨)

tokens = [tokenizer.convert_ids_to_tokens(ids)

for ids in encoded_inputs["input_ids" ...