이때 패딩이 도움이 됩니다. 많은 텍스트 중 가장 긴 텍스트를 결정하고, 그보다 짧은 텍스트
에는
xxpad
라는 특수 토큰을 채워 넣죠. 토큰
2
,
000
개로 구성된 텍스트와 토큰
10
개로 구성
된 텍스트가 같은 배치 내에 있는 극단적인 상황(많은 패딩과 계산 낭비가 발생함)도 있겠죠.
이를 피하려고 비슷한 크기의 텍스트가 함께 배치를 구성하도록 임의성을 조정합니다. 학습용
데이터셋의 텍스트는 여전히 약간 임의의 순서로 나열되지만, 완벽한 임의의 순서는 아닙니다
(검증용 데이터셋은 단순히 길이의 순서대로 정렬할 수도 있습니다).
fastai
라이브러리가
DataLoader
를 만들 때 이 작업을 자동으로 수행합니다.
15.3
Tabular
마지막으로
fastai
.
tabular
모델을 살펴보겠습니다(테이블 데이터의 모델과 협업 필터링이
같은 접근법을 사용한다는 사실을 이미 배웠으니 협업 필터링을 별도로 살펴보지 않습니다).
다음은
TabularModel
클래스의
forward
메서드 일부입니다.
ifself.n_emb!=0:
x=[e(x_cat[:,i])fori,einenumerate(self.embeds)]
x=torch.cat(x,1)
x=self.emb_drop(x)
ifself.n_cont!=
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month, and much more.
O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.
Julian F.
Head of Cybersecurity
I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.
Addison B.
Field Engineer
I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.
Amir M.
Data Platform Tech Lead
I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.