Deep Learning para programadores com fastai e PyTorch

Capítulo 12. Um modelo de linguagem a partir do zero

Este trabalho foi traduzido com recurso a IA. Agradecemos o teu feedback e comentários: [e-mail]

Agora estás pronto para ir mais fundo... mais fundo no Deep Learning! Já aprendeste a treinar uma rede neural básica, mas como é que passas daí para a criação de modelos de última geração? Nesta parte do livro, vamos desvendar todos os mistérios, começando pelos modelos de linguagem.

Viste no Capítulo 10 como afinar um modelo de linguagem pré-treinado para construir um classificador de texto. Neste capítulo, vamos explicar exatamente o que está dentro desse modelo e o que é uma RNN. Primeiro, vamos reunir alguns dados que nos permitirão criar rapidamente um protótipo dos nossos vários modelos.

Os dados

Sempre que começamos a trabalhar num novo problema, tentamos sempre pensar no conjunto de dados mais simples possível que nos permita experimentar métodos de forma rápida e fácil e interpretar os resultados. Quando começámos a trabalhar na modelação da linguagem há alguns anos, não encontrámos nenhum conjunto de dados que permitisse uma prototipagem rápida, por isso criámos um. Chamamos-lhe Human Numbers (Números Humanos) e contém simplesmente os primeiros 10.000 números escritos em inglês.

Jeremy diz

Um dos erros práticos mais comuns que vejo, mesmo entre profissionais muito experientes, é não utilizar os conjuntos de dados adequados nas alturas apropriadas durante o processo de análise. Em particular, a maioria ...