Deep Learning para programadores com fastai e PyTorch

Capítulo 11. Processando dados com a API de nível médio do fastai

Este trabalho foi traduzido com recurso a IA. Agradecemos o teu feedback e comentários: [e-mail]

Vimos o que Tokenizer e Numericalize fazem a uma coleção de textose como são utilizados dentro da API de blocos de dados, que trata essas transformações diretamente para nós utilizando a TextBlock. Mas e se quisermos aplicar apenas uma dessas transformações, quer para ver resultados intermédios, quer porque já temos textos tokenizados? Em termos mais gerais, o que podemos fazer quando a API de blocos de dados não é suficientemente flexível para acomodar o nosso caso de utilização específico? Para isso, precisamos de usar a API de nível médio do fastai para processar dados. A API do bloco de dadosé construída em cima dessa camada, de modo que te permite fazer tudo o que a API do bloco de dados faz, e muito mais.

Vai mais fundo na API em camadas do fastai

A biblioteca fastai é construída sobre uma API em camadas. Na camada superior estão as aplicações que nos permitem treinar um modelo em cinco linhas de código, como vimos no Capítulo 1. No caso da criação deDataLoaders para um classificador de texto, por exemplo, usámos esta linha:

from fastai.text.all import *

dls = TextDataLoaders.from_folder(untar_data(URLs.IMDB), valid='test')

O método de fábrica TextDataLoaders.from_folder é muito conveniente quandoos teus dados estão organizados exatamente da mesma forma que o conjunto de dados IMDb, mas, ...