Was ist "Experience Replay" und welche Vorteile hat es?

Ich habe gelesen , DeepMind Ataris Google Papier und ich versuche , das Konzept der „Erfahrung replay“ zu verstehen. Die Wiederholung von Erfahrungen ist in vielen anderen Lernpapieren zur Verstärkung enthalten (insbesondere im AlphaGo-Papier), daher möchte ich verstehen, wie es funktioniert. Nachfolgend einige Auszüge.

Zunächst verwendeten wir einen biologisch inspirierten Mechanismus, der als Erfahrungswiederholung bezeichnet wird und die Daten zufällig sortiert, wodurch Korrelationen in der Beobachtungssequenz beseitigt und Änderungen in der Datenverteilung geglättet werden.

Das Papier wird dann wie folgt ausgearbeitet:

Während es andere stabile Methoden zum Trainieren neuronaler Netze in der Umgebung des Verstärkungslernens gibt, wie z. B. neuronale angepasste Q-Iteration, umfassen diese Methoden das wiederholte Trainieren von Networks de novo mit Hunderten von Iterationen. Folglich sind diese Methoden im Gegensatz zu unserem Algorithmus zu ineffizient, um mit großen neuronalen Netzen erfolgreich verwendet zu werden. Wir parametrisieren eine Näherungswertfunktion $Q(s, a; \theta_i)$ Verwendung des in 1 gezeigten neuronalen Netzwerks mit tiefer Faltung, wobei $\theta_i$ die Parameter ( Gewichte) des Q-Netzwerks bei der Iteration zu jedem Zeitschritt$i$ . Um eine Wiederholung der Erfahrung durchzuführen, speichern wir die Erfahrungen des Agenten$e_t = (s_t, a_t, r_t, s_{t+1})$$t$ in einem Datensatz . Während des Lernens wenden wir Q-Learning-Aktualisierungen auf Stichproben (oder Mini-Chargen) von Erfahrungswerten , die gleichmäßig und zufällig aus dem Pool gespeicherter Stichproben gezogen werden. Das Q-Learning - Update bei der Iteration verwendet die folgende Verlustfunktion:$D_t = \{e_1, \dots, e_t \}$$(s, a, r, s') \sim U(D)$$i$

$$L_i(\theta_i) = \mathbb{E}_{(s, a, r, s') \sim U(D)} \left[ \left(r + \gamma \max_{a'} Q(s', a'; \theta_i^-) - Q(s, a; \theta_i)\right)^2 \right]$$

Was ist Experience Replay und was bringt es für Laien?

Der Schlüsselteil des zitierten Textes ist:

Um eine Wiederholung der Erfahrung durchzuführen, speichern wir die Erfahrungen des Agenten. $e_t = (s_t,a_t,r_t,s_{t+1})$

Dies bedeutet, dass das System anstelle von Q-Learning für Status- / Aktionspaare, wie sie während der Simulation oder der tatsächlichen Erfahrung auftreten, die für [Status, Aktion, Belohnung, nächster_Zustand] ermittelten Daten speichert - in der Regel in einer großen Tabelle. Beachten Sie, dass hier keine zugehörigen Werte gespeichert werden. Dies sind die Rohdaten, die später in die Aktionswertberechnungen eingehen.

Die Lernphase ist dann logisch von dem Sammeln von Erfahrung getrennt und basiert auf der Entnahme von Zufallsstichproben aus dieser Tabelle. Sie möchten immer noch die beiden Prozesse - Handeln und Lernen - ineinander verschachteln, da eine Verbesserung der Richtlinien zu unterschiedlichen Verhaltensweisen führt, die Aktionen näher an den optimalen untersuchen sollten, und Sie möchten daraus lernen. Sie können dies jedoch aufteilen, wie Sie möchten - z. B. einen Schritt machen, aus drei zufälligen vorherigen Schritten lernen usw. Die Q-Learning-Ziele bei der Verwendung der Erfahrungswiedergabe verwenden dieselben Ziele wie die Online-Version, daher gibt es keine neue Formel dafür. Die angegebene Verlustformel ist auch diejenige, die Sie für DQN ohne Erfahrungswiedergabe verwenden würden. Der Unterschied besteht nur darin, welche s, a, r, s ', a' Sie in sie einspeisen.

In DQN unterhielt das DeepMind-Team auch zwei Netzwerke und wechselte, welches gerade lernte und welches aktuelle Aktionswertschätzungen als "Bootstraps" einspeist. Dies trug zur Stabilität des Algorithmus bei, wenn ein nichtlinearer Funktionsapproximator verwendet wurde. Das ist , was die Bar steht für in - es die alternative bezeichnet gefrorene Version der Gewichte.${\theta}^{\overline{\space}}_i$

Vorteile der Erfahrungswiedergabe:

• Effizientere Nutzung früherer Erfahrungen durch mehrmaliges Lernen. Dies ist der Schlüssel, wenn das Sammeln von Erfahrungen in der realen Welt kostspielig ist und Sie sie voll ausnutzen können. Die Q-Learning-Aktualisierungen sind inkrementell und konvergieren nicht schnell. Daher sind mehrere Durchläufe mit denselben Daten von Vorteil, insbesondere wenn die unmittelbaren Ergebnisse (Belohnung, nächster Status) bei gleichem Status und Aktionspaar nur geringfügig voneinander abweichen.

• Besseres Konvergenzverhalten beim Training eines Funktionsapproximators. Dies liegt zum Teil daran, dass die Daten eher den ID- Daten entsprechen, die in den meisten überwachten Lernkonvergenzbeweisen angenommen wurden.

Nachteil der Erfahrungswiedergabe:

• $\lambda$

Der in DQN verwendete Ansatz wird von David Silver in Teilen dieser Videovorlesung kurz umrissen (gegen 01:17:00 Uhr, aber sehenswerte Abschnitte davor). Wenn Sie Zeit haben, empfehle ich Ihnen, sich die ganze Serie anzuschauen, bei der es sich um einen Kurs für Fortgeschrittene handelt.