Generative Deep Learning, 2a edizione

Capitolo 12. Modelli del mondo

Questo lavoro è stato tradotto utilizzando l'AI. Siamo lieti di ricevere il tuo feedback e i tuoi commenti: [e-mail]

Obiettivi del capitolo

In questo capitolo scoprirai:

• Scopri le basi dell'apprendimento per rinforzo (RL).

• Capire come la modellazione generativa possa essere utilizzata all'interno di un approccio al modello del mondo per la RL.

• Scopri come addestrare un autoencoder variazionale (VAE) per catturare le osservazioni dell'ambiente in uno spazio latente a bassa dimensione.

• Passiamo al processo di addestramento di una rete neurale ricorrente a densità mista (MDN-RNN) che predice la variabile latente.

• Utilizzare la strategia di evoluzione dell'adattamento della matrice di covarianza (CMA-ES) per addestrare un controllore in grado di intraprendere azioni intelligenti nell'ambiente.

• Capire come l'MDN-RNN addestrato possa essere utilizzato come ambiente, consentendo all'agente di addestrare il controllore all'interno dei propri sogni allucinati, piuttosto che nell'ambiente reale.

Questo capitolo introduce una delle applicazioni più interessanti dei modelli generativi negli ultimi anni, ovvero il loro utilizzo all'interno dei cosiddetti modelli del mondo.

Introduzione

Su marzo 2018, David Ha e Jürgen Schmidhuber hanno pubblicato l'articolo "World Models".¹ L'articolo ha mostrato come sia possibile addestrare un modello in grado di imparare a svolgere un particolare compito attraverso la sperimentazione ...