파이토치로 배우는 LLM & AI

151

5

장

자연어 처리 소개

[[2, 7, 4, 8, 0, 0, 0, 0, 0, 0]]

[[9, 10, 11, 12, 13, 14, 15, 1, 0, 0]]

maxlen

매개변수로 인해 각 시퀀스의 길이가

10

이 됩니다. 이 코드는 꽤 간단하지만 이를 기

반으로 더 복잡한 방법을 구현할 수 있습니다. 예를 들어 최대 길이보다 긴 시퀀스가 있는 경우

를 고려할 수 있습니다. 현재로서는 최대 길이가 넘으면 잘라내지만, 다른 동작을 구현할 수도

있습니다. 이를 잘림

truncation

이라 합니다. 이름에서 알 수 있듯이 잘림은 원하는 길이에 맞도록

시퀀스를 줄입니다. 일반적으로 오른쪽을 잘라내지만 (왼쪽에서 오른쪽으로 쓰는 언어와 같

이) 일부 환경에서는 문장의 시작되는 왼쪽 부분을 자르고 싶을 수 있습니다.

또한 앞서 보았던

BERT

와 같은 사전 훈련된 토크나이저의 경우 이러한 기능의 대부분을 이미

제공하고 있으므로 실험해 보세요.

5.2

불용어 제거와 텍스트 정제

다음 절에서 실전 데이터셋을 다루어 보겠습니다. 실전 데이터셋에는 원치 않는 텍스트가 들어

있는 경우가 종종 있습니다. ‘

the

’, ‘

and

’, ‘

but

’과 같이 너무 자주 등장해 특별한 의미가 없는

불

용어

stopword

를 제거할 수 있습니다. 그리고 텍스트에 들어 있는

HTML

태그

tag

를