Deep Learning para programadores com fastai e PyTorch

Capítulo 10. Mergulha profundamente na PNL: RNNs

Este trabalho foi traduzido com recurso a IA. Agradecemos o teu feedback e comentários: [e-mail]

No Capítulo 1, vimos que o Deep Learning pode ser utilizado para obter excelentes resultados com conjuntos de dados de linguagem natural. O nosso exemplo baseou-se na utilização de um modelo de linguagem pré-treinado e no seu ajuste fino para classificar críticas. Esse exemplo destacou uma diferença entre a aprendizagem por transferência na PNL e na visão computacional: em geral, na PNL, o modelo pré-treinado é treinado numa tarefa diferente.

O que chamamos um modelo de linguagem é um modelo que foi treinado para adivinhar a palavra seguinte num texto (tendo lido as anteriores). Este tipo de tarefa chama-se aprendizagem auto-supervisionada: não precisamos de dar rótulos ao nosso modelo, basta alimentá-lo com muitos e muitos textos. Tem um processo para obter automaticamente etiquetas a partir dos dados, e esta tarefa não é trivial: para adivinhar corretamente a palavra seguinte numa frase, o modelo terá de desenvolver uma compreensão da língua inglesa (ou outra). A aprendizagem auto-supervisionada também pode ser utilizada noutros domínios; por exemplo, ver"Self-Supervised Learning and Computer Vision" para uma introdução às aplicações de visão. A aprendizagem auto-supervisionada não é normalmente utilizada para o modelo que é treinado diretamente, mas sim para pré-treinar um modelo utilizado para a aprendizagem ...