Q-Learning mit Neural Network als Funktionsnäherung

Ich versuche, ein neuronales Netzwerk zu verwenden, um den Q-Wert beim Q-Learning wie bei Fragen zum Q-Learning mit neuronalen Netzwerken zu approximieren . Wie in der ersten Antwort vorgeschlagen, verwende ich eine lineare Aktivierungsfunktion für die Ausgabeebene, während ich weiterhin die Sigmoid-Aktivierungsfunktion in den verborgenen Ebenen verwende (2, obwohl ich dies später ändern kann). Ich verwende auch ein einzelnes NN, das wie empfohlen eine Ausgabe für jede Aktion zurückgibt $Q(a)$ .

Der Algorithmus divergiert jedoch immer noch für das einfache Problem des Auswuchtens von Wagenstangen. Ich fürchte, mein Q-Update ist falsch. Nach der Initialisierung habe ich bei jedem Schritt Folgendes getan:

Berechnen Sie $Q_t(s_t)$ Verwendung der Vorwärtsausbreitung des NN für alle Aktionen.
Wählen Sie eine neue Aktion, $a_t$ , landen Sie in einem neuen Zustand $s_t$ .
Berechnen Sie $Q_t(s_{t+1})$ Verwendung der Vorwärtsausbreitung des NN für alle Aktionen.
$Q_{t+1}(s_t,a_t)=Q_t(s_t,a_t)+\alpha_t \left[r_{t+1}+\gamma \max_a Q(s_{t+1},a) - Q_t(s_t,a_t) \right]$ $a_t$ $Q_{t+1}(s,a_t)=Q_{t}(s,a_t)$
Setzen Sie den Fehlervektor auf $\mathbf{e}=Q_\mathrm{target}-Q_t=Q_{t+1}-Q_t$
Backpropagieren Sie den Fehler durch die NN, um die Gewichtsmatrizen zu aktualisieren.

Könnte mir bitte jemand sagen, wo ich falsch gelaufen bin?

Glauben Sie außerdem, dass ich auch einen Bias-Term in die Eingabeebene und die erste verborgene Ebene (dh für die Sigmoid-Funktionen) aufnehmen sollte? Wird es einen Unterschied machen?

Vielen Dank im Voraus für Ihre Hilfe. Bei Bedarf kann ich helfen, die Frage zu klären oder den Code zu teilen.

neural-networks reinforcement-learning

— Enrico Anderlini
quelle

Ihr Ziel sollte gerecht sein

. $r_{t+1}+\gamma \max_a Q(s_{t+1},a)$

Beachten Sie, dass Ihr Fehlerterm (der korrekt ist) dann als umgeschrieben werden kann $r_{t+1}+\gamma \max_a Q(s_{t+1},a) - Q_t$

$Q$

— rcpinto
quelle

Q_{t}

$Q_t$

Mein NN + Q-Lernen konvergiert jedoch immer noch nicht. Wenn die Methode korrekt ist, werde ich wahrscheinlich nur versuchen, mit der Lernrate und der Anzahl der Neuronen in den verborgenen Schichten

— herumzuspielen

Ja, das sollten Sie tun (versuchen Sie auch, die ReLU-Übertragungsfunktion zu verwenden). Beachten Sie jedoch, dass Q-Learning keine Konvergenzgarantien für die Funktionsnäherung bietet. Wenn Ihr nächster Versuch nicht funktioniert, können Sie Advantage Learning ausprobieren. Und schließlich könnte das Problem sein, dass Ihre Daten nicht iid sind. Sie müssen also Experience Replay implementieren.

— rcpinto

Q_{t + 1}

$Q_{t+1}$

r_{t + 1}

$r_{t+1}$

Sie nicht, es ist Null. Es wird jedoch langsam durch die Q-Werte in frühere Zustände übertragen, da der Q-Wert eine Schätzung der kumulierten zukünftigen Belohnungen ist.

— rcpinto