핸즈온 LLM

72

1부 언어 모델 이해하기

tokenizer = AutoTokenizer.from_pretrained(tokenizer_name)

token_ids = tokenizer(sentence).input_ids

for idx, t in enumerate(token_ids):

print(

f'\x1b[0;30;48;2;{colors_list[idx % len(colors_list)]}m' +

tokenizer.decode(t) +

'\x1b[0m',

end=' '

)

BERT

베이스 모델 (

uncased

) (

2018

)

•

허깅 페이스 모델 링크

:

https://oreil.ly/gQK_N

•

토큰화 방법

: <

Japanese

and

Korean

voice

search

> (

https://oreil.ly/4nE6b

)에서 소개한

WordPiece

•

어휘사전

크기

:

30

,

522

•

특수

토큰

–

unk_token [UNK]

: 토크나이저가 인코딩 방법을 모르는 토큰

–

sep_token [SEP]

: 특정 작업에서 두 개의 텍스트를 구분하기 위한 토큰(이런 모델을 크로스 인코더

cross

-

encoder

라고 합니다 ).

8

장에서 볼 리랭킹

rerank

이 한 예입니다.

–

pad_token [PAD]

: 모델 입력에서 사용되지 않은 위치를 채우기 위한 패딩 토큰. 모델은 특정 ...