Deep Learning

Anhang B. RL4J und Reinforcement Learning

Ruben Fiszel

Präliminarien

Wir beginnen diesen Anhang mit einer Einführung in das Verstärkungslernen, gefolgt von einer detaillierten Erklärung von Deep Q-Networks (DQNs) für Pixeleingaben und zeigen dir abschließend ein RL4J-Beispiel. Beginnen wir mit einem Blick auf die Kernkonzepte des Verstärkungslernens.

Reinforcement Lernen ist ein spannender Bereich des maschinellen Lernens. Im Grunde geht es dabei um das Erlernen einer effizienten Strategie in einer bestimmten Umgebung. Inoffiziell ähnelt dies der Pawlowschen Konditionierung: Du gibst eine Belohnung für ein bestimmtes Verhalten, und mit der Zeit lernen die Agenten, dieses Verhalten zu reproduzieren, um mehr Belohnungen zu erhalten.

Markov-Entscheidungsprozess

Formal ist eine Umgebung als Markov Decision Process (MDP) definiert. Hinter diesem gruseligen Namen verbirgt sich nichts anderes als die Kombination aus (5-Tupel):

• Eine Reihe von ZuständenSS (beim Schach ist ein Zustand z. B. die Brettkonfiguration)
• Eine Menge möglicher AktionenAA (im Schach, jeder mögliche Zug in jeder möglichen Konfiguration; z.B. e4-e5).
• Die bedingte Verteilung P(s′|s,a)P(s′|,a) des nächsten Zustands, wenn der aktuelle Zustand und eine Aktion gegeben sind. (In einer deterministischen Umgebung wie beim Schach gibt es nur einen Zustand s′ mit der Wahrscheinlichkeit 1 und alle anderen mit der Wahrscheinlichkeit 0. In einer stochastischen Umgebung (mit Zufallsbedingungen wie einem Münzwurf) ist die Verteilung ...