Warum normalisieren wir die reduzierten Belohnungen, wenn wir das Lernen zur Verstärkung von Richtliniengradienten durchführen?

Ich versuche, den Policy-Gradient- Ansatz zur Lösung des Cartpole- Problems zu verstehen . Bei diesem Ansatz drücken wir den Gradienten des Verlusts für jeden Parameter unserer Richtlinie als Erwartung der Summe der Gradienten unseres Richtliniengradienten für alle Aktionen in einer Sequenz aus, gewichtet mit der Summe der abgezinsten Belohnungen in dieser Sequenz:

und wir schätzen es anhand eines empirischen Durchschnitts über alle Stichproben in einer Episode - was intuitiv sinnvoll ist.

ABER der weniger intuitive Teil ist, dass ich eine gängige Praxis gesehen habe, um die Vorteile zwischen Episoden in mehreren Implementierungen zu normalisieren (und tatsächlich funktioniert es besser). Nachdem sie den berechnet haben, würden sie den Vorteil nicht direkt nutzen, sondern ihn normalisieren, z. B. hier nach jeder Episode:

discounted_epr = discount_rewards(epr)
discounted_epr -= np.mean(discounted_epr)
discounted_epr /= np.std(discounted_epr)

Was ist die Rechtfertigung dafür - sowohl in der Theorie als auch in der Intuition? Es scheint mir, dass es sich lohnt, mehr aus dieser Episode zu lernen als aus einer Episode mit drei Zügen, wenn eine Episode lang ist und als solche große Vorteile hat. Was vermisse ich?

Im Allgemeinen bevorzugen wir es, die Renditen aus Stabilitätsgründen zu normalisieren. Wenn Sie die Backpropagation-Gleichungen berechnen, werden Sie feststellen, dass die Rückgabe die Gradienten beeinflusst. Daher möchten wir seine Werte in einem bestimmten geeigneten Bereich halten. Wir folgen dieser Praxis nicht aus theoretischen Gründen, sondern aus praktischen Gründen. Gleiches gilt für das Abschneiden von Wert-Funktionen beim Q-Learning in Kombination mit NNs. Natürlich gibt es bei diesen Ansätzen einige Nachteile, aber im Allgemeinen verhält sich der Algorithmus besser, da die Backpropagation Ihre Netzwerkgewichte nicht zu Extremwerten führt. Bitte werfen Sie einen Blick auf diesen ausgezeichneten Beitrag von Andrej Karpathy (ich füge den Teil zu Ihrer Frage als Blockzitat hinzu), der zusätzliche Einblicke bietet:$Q$

Allgemeinere Vorteilsfunktionen. Ich habe auch ein bisschen mehr Diskussion über die Renditen versprochen. Bisher haben wir die Güte jeder einzelnen Aktion danach beurteilt, ob wir das Spiel gewinnen oder nicht. In einer allgemeineren RL-Einstellung würden wir bei jedem Zeitschritt eine Belohnung erhalten . Eine übliche Wahl ist die Verwendung einer reduzierten Belohnung, sodass die "eventuelle Belohnung" im obigen Diagramm zu , wobei eine Zahl zwischen 0 ist und 1 als Abzinsungsfaktor bezeichnet (z. B. 0,99). Der Ausdruck besagt, dass die Stärke, mit der wir eine Stichprobenaktion fördern, die gewichtete Summe aller Belohnungen danach ist, aber spätere Belohnungen sind exponentiell weniger wichtig. In der Praxis kann es auch wichtig sein, diese zu normalisieren. Nehmen wir zum Beispiel an, wir berechnen$r_t$$R_t=∑^∞_{k=0}γ^kr_{t+k}$$\gamma$$R_t$ für alle 20.000 Aktionen in den oben genannten 100 Pong-Rollouts. Eine gute Idee ist es, diese Renditen zu „standardisieren“ (z. B. Mittelwert subtrahieren, durch Standardabweichung dividieren), bevor wir sie in Backprop einfügen. Auf diese Weise ermutigen und entmutigen wir immer ungefähr die Hälfte der durchgeführten Aktionen. Mathematisch können Sie diese Tricks auch interpretieren, um die Varianz des Richtliniengradientenschätzers zu steuern. Eine eingehendere Untersuchung finden Sie hier.

Die folgenden Referenzen sind möglicherweise hilfreich:

• Abschnitt 4.1.2 Vorteilsnormalisierung : Sie erwähnen, dass die Normalisierung des Vorteils ein Trick ist, der für das Training nützlich ist. Dies führt normalerweise zu einem schnelleren Lernen.
• Lernen von Werten über viele Größenordnungen : Sie bieten einen Algorithmus zur Normalisierung von Belohnungen und detaillierte Experimente zu den Atari-Umgebungen. Die Grundidee ist, dass die Belohnungen über einen großen Bereich von Größen variieren können und die in RL verwendeten Funktionsapproximatoren (wie z. B. neuronale Netze) normalerweise nicht unveränderlich für die Skala der Eingabe sind. So wird die Normalisierung zu einem Schlüsselschritt. Überprüfen Sie dieses Papier für weitere Details.