Generatives Deep Learning, 2. Auflage

Kapitel 12. Weltmodelle

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

Kapitel Ziele

In diesem Kapitel erfährst du:

• Gehe durch die Grundlagen des Reinforcement Learning (RL).

• Verstehen, wie generative Modellierung im Rahmen eines Weltmodellansatzes für RL genutzt werden kann.

• Hier erfährst du, wie du einen Variational Autoencoder (VAE) trainierst, um Umweltbeobachtungen in einem niedrigdimensionalen latenten Raum zu erfassen.

• Gehe durch den Trainingsprozess eines rekurrenten neuronalen Netzes mit Mischdichte (MDN-RNN), das die latente Variable vorhersagt.

• Nutze die Covariance Matrix Adaptation Evolution Strategy (CMA-ES), um einen Controller zu trainieren, der intelligente Aktionen in der Umwelt durchführen kann.

• Verstehe, wie das trainierte MDN-RNN selbst als Umgebung genutzt werden kann, damit der Agent den Controller in seinen eigenen halluzinierten Träumen und nicht in der realen Umgebung trainieren kann.

In diesem Kapitel wird eine der interessantesten Anwendungen generativer Modelle der letzten Jahre vorgestellt, nämlich ihre Verwendung in sogenannten Weltmodellen.

Einführung

In März 2018 veröffentlichten David Ha und Jürgen Schmidhuber ihren Artikel "World Models".¹ Darin zeigen sie, wie man ein Modell trainieren kann, das lernt, eine bestimmte Aufgabe auszuführen, indem es in seiner eigenen generierten Traumumgebung experimentiert, anstatt in der realen Umgebung. Es ...