Generative Deep Learning, 2ª Edição

Capítulo 5. Modelos Autoregressivos

Este trabalho foi traduzido com recurso a IA. Agradecemos o teu feedback e comentários: [e-mail]

Objectivos do capítulo

Neste capítulo, vais aprender:

• Aprende porque é que os modelos autoregressivos são adequados para gerar dados sequenciais como o texto.

• Aprende a processar e tokenizar dados de texto.

• Aprende sobre o design arquitetónico das redes neuronais recorrentes (RNNs).

• Constrói e treina uma rede de memória de curto prazo longa (LSTM) de raiz utilizando o Keras.

• Utiliza o LSTM para gerar novo texto.

• Aprende sobre outras variações de RNNs, incluindo unidades recorrentes controladas (GRUs) e células bidirecionais.

• Compreende como os dados de imagem podem ser tratados como uma sequência de pixéis.

• Aprende sobre o design arquitetónico de um PixelCNN.

• Constrói um PixelCNN do zero usando o Keras.

• Utiliza o PixelCNN para gerar imagens.

Até agora, explorámos duas famílias diferentes de modelos generativos que envolveram variáveis latentes - autoencoders variacionais (VAEs) e redes adversárias generativas (GANs). Em ambos os casos, é introduzida uma nova variável com uma distribuição de fácil amostragem e o modelo aprende a descodificar esta variável de volta ao domínio original.

Agora, vamos concentrar-nos em modelos autoregressivos - umafamília de modelos que simplifica o problema de modelação generativa, tratando-o como um processo sequencial. Os modelos autoregressivos condicionam as previsões ...