Generative Deep Learning, 2ª Edição

Capítulo 12. Modelos do mundo

Este trabalho foi traduzido com recurso a IA. Agradecemos o teu feedback e comentários: [e-mail]

Objectivos do capítulo

Neste capítulo, vais aprender:

• Percorre os princípios básicos da aprendizagem por reforço (RL).

• Compreende como a modelação generativa pode ser utilizada numa abordagem de modelo do mundo para a RL.

• Vê como treinar um autoencoder variacional (VAE) para capturar observações do ambiente num espaço latente de baixa dimensão.

• Percorre o processo de formação de uma rede neural de densidade mista-recorrente (MDN-RNN) que prevê a variável latente.

• Utiliza a estratégia de evolução da adaptação da matriz de covariância (CMA-ES) para treinar um controlador que possa tomar medidas inteligentes no ambiente.

• Compreende como o MDN-RNN treinado pode ser utilizado como um ambiente, permitindo que o agente treine o controlador nos seus próprios sonhos alucinados, em vez de no ambiente real.

Este capítulo apresenta uma das aplicações mais interessantes dos modelos generativos nos últimos anos, nomeadamente a sua utilização nos chamados modelos do mundo.

Introdução

Em de março de 2018, David Ha e Jürgen Schmidhuber publicaram o seu artigo "World Models".¹ O artigo mostrou como é possível treinar um modelo que pode aprender a realizar uma determinada tarefa através da experimentação no seu próprio ambiente de sonho gerado, em vez de no ambiente real. É um excelente exemplo de como a modelação generativa pode ser ...