Processamento de linguagem natural com transformadores, edição revisada

Capítulo 10. Treinar transformadores a partir do zero

Este trabalho foi traduzido com recurso a IA. Agradecemos o teu feedback e comentários: [e-mail]

No parágrafo de abertura deste livro, mencionámos uma aplicação sofisticada chamada GitHub Copilot que utiliza transformadores do tipo GPT para executar o preenchimento automático de código, uma funcionalidade que é particularmente útil quando se programa numa nova linguagem ou estrutura ou quando se aprende a codificar, ou para produzir automaticamente código padrão. Outros produtos que utilizam modelos de IA para este fim incluem o TabNine eo Kite. Mais tarde, no Capítulo 5, vimos mais de perto como podemos usar modelos GPT para gerar texto de alta qualidade. Neste capítulo, vamos fechar o círculo e construir o nosso próprio modelo tipo GPT para gerar código fonte Python! Chamamos o modelo resultante de CodeParrot.

Até agora, trabalhámos sobretudo em aplicações com restrições de dados, em que a quantidade de dados de treino rotulados é limitada. Nestes casos, a aprendizagem por transferência ajudou-nos a construir modelos com bom desempenho. Levámos a aprendizagem por transferência ao limite no Capítulo 9, onde quase não utilizámos quaisquer dados de treino.

Neste capítulo, vamos passar para o outro extremo e ver o que podemos fazer quando estamos a afogar-nos em todos os dados que poderíamos desejar. Exploraremos a etapa de pré-treinamento em si e aprenderemos a treinar um transformador a partir do zero. ...