Was ist die Q-Funktion und was ist die V-Funktion beim Bestärkungslernen?

30

Es scheint mir, dass die $V$ Funktion leicht durch die $Q$ Funktion ausgedrückt werden kann und daher die Funktion für mich überflüssig zu sein scheint. Allerdings lerne ich noch nicht viel, also habe ich wohl etwas falsch gemacht. $V$

Definitionen

Q- und V-Learning stehen im Kontext von Markov-Entscheidungsprozessen . Ein MDP ist ein 5-Tupel $(S, A, P, R, \gamma)$ mit

$S$ ist eine Menge von Zuständen (typischerweise endlich)
$A$ ist eine Menge von Aktionen (typischerweise endlich)
$P(s, s', a) = P(s_{t+1} = s' | s_t = s, a_t = a)$ ist die Wahrscheinlichkeit mit der Aktion von Zustand $s$ zu Zustand zu gelangen. $s'$ $a$
$R(s, s', a) \in \mathbb{R}$ ist die unmittelbare Belohnung nach dem Übergang von Zustand $s$ zu Zustand $s'$ mit Aktion $a$ . (Es scheint mir, dass normalerweise nur $s'$ zählt).
$\gamma \in [0, 1]$ heißt Rabattfaktor und bestimmt, ob man sich auf unmittelbare Belohnungen ( $\gamma = 0$ ), die Gesamtbelohnung ( $\gamma = 1$ ) oder einen Kompromiss konzentriert.

Eine Politik $\pi$ nach Reinforcement Learning: Eine Einführung von Sutton und Barto ist eine Funktion $\pi: S \rightarrow A$ (dies könnte probabilistisch sein).

Laut Mario Martins Dias , die $V$ - Funktion ist

V^{π} (s) = E_{π} {R_{t} | s_{t} = s} = E_{π} {\sum_{k = 0}^{\infty} γ^{k} r_{t + k + 1} | s_{t} = s}

$V^\pi(s) = E_\pi \{R_t | s_t = s\} = E_\pi \{\sum_{k=0}^\infty \gamma^k r_{t+k+1} | s_t = s\}$ und die Q-Funktion ist

Q^{π} (s, a) = E_{π} {R_{t} | s_{t} = s, a_{t} = a} = E_{π} {\sum_{k = 0}^{\infty} γ^{k} r_{t + k + 1} | s_{t} = s, a_{t} = a}

$Q^\pi(s, a) = E_\pi \{R_t | s_t = s, a_t = a\} = E_\pi \{\sum_{k=0}^\infty \gamma^k r_{t+k+1} | s_t = s, a_t=a\}$

Meine Gedanken

Die Funktion gibt an, wie hoch der erwartete Gesamtwert (nicht die Belohnung!) Eines Zustands unter der Richtlinie ist. $V$ $s$ $\pi$

Die Funktion gibt den Wert eines Zustands und einer Aktion unter der Richtlinie . $Q$ $s$ $a$ $\pi$

Das heißt,

Q^{π} (s, π (s)) = V^{π} (s)

$Q^\pi(s, \pi(s)) = V^\pi(s)$

Recht? Warum haben wir überhaupt die Wertfunktion? (Ich glaube, ich habe etwas verwechselt)

machine-learning reinforcement-learning

— Martin Thoma
quelle

15

Q-Werte sind eine großartige Möglichkeit, Aktionen explizit zu machen, damit Sie Probleme bewältigen können, bei denen die Übergangsfunktion nicht verfügbar ist (modellfrei). Wenn Ihr Aktionsraum jedoch groß ist, sind die Dinge nicht so schön und die Q-Werte nicht so praktisch. Denken Sie an eine Vielzahl von Aktionen oder sogar an kontinuierliche Aktionsräume.

Aus einer Stichprobenperspektive ist die Dimensionalität von $Q(s, a)$ höher als $V(s)$ so dass es möglicherweise schwieriger wird,im Vergleich zu genügend $(s, a)$ Stichproben zu erhalten. Wenn Sie Zugriff auf die Übergangsfunktion haben, ist manchmalgut. $(s)$ $V$

Es gibt auch andere Anwendungen, bei denen beide kombiniert werden. Zum Beispiel, wo die Vorteilsfunktion $A(s, a) = Q(s, a) - V(s)$ . Bei Interesse finden Sie hier ein aktuelles Beispiel mit Vorteilsfunktionen:

Duellieren von Netzwerkarchitekturen für tiefes Reinforcement-Lernen

Von Ziyu Wang, Tom Schaul, Matteo Hessel, Hado van Hasselt, Marc Lanctot und Nando de Freitas.

— Juan Leni
quelle

19

$V^\pi(s)$ ist die Zustandswertfunktion von MDP (Markov Decision Process). Es ist der erwartete Ertrag ausZustand ausgehend $s$ folgenden Politik $\pi$ .

Im Ausdruck

V^{π} (s) = E_{π} {G_{t} | s_{t} = s}

$V^\pi(s) = E_\pi \{G_t | s_t = s\}$

$G_t$ ist die gesamte DISCOUNTED-Belohnung von Zeitschritt $t$ im Gegensatz zu $R_t$ die eine sofortige Rückgabe darstellt. Hier nehmen Sie die Erwartung von ALLEN Handlungen gemäß der Richtlinie $\pi$ .

$Q^\pi(s, a)$ ist die Aktionswertfunktion. Dies ist die erwartete Rendite ab dem Status $s$ , der der Richtlinie $\pi$ folgtund Aktion $a$ . Es konzentriert sich auf die bestimmte Aktion in dem bestimmten Staat.

Q^{π} (s, a) = E_{π} {G_{t} | s_{t} = s, a_{t} = a}

$Q^\pi(s, a) = E_\pi \{G_t | s_t = s, a_t = a\}$

Die Beziehung zwischen $Q^\pi$ und $V^\pi$ (der Wert, in diesem Zustand zu sein) ist

V^{π} (s) = \sum_{a \in A} π (a | s) * Q^{π} (a, s)

$V^\pi(s) = \sum_{a ∈ A} \pi (a|s) * Q^\pi(a,s)$

Sie addieren jeden Aktionswert multipliziert mit der Wahrscheinlichkeit, diese Aktion auszuführen (die Richtlinie $\pi(a|s)$ ).

Wenn Sie an das Beispiel der Rasterwelt denken, multiplizieren Sie die Wahrscheinlichkeit (hoch / runter / rechts / links) mit dem Zustandswert (hoch / runter / rechts / links), der einen Schritt voraus ist.

— Aaron
quelle

5

Dies ist die prägnanteste Antwort.

— Brett

Ich habe Quelle , die besagt , dass

. Wie verhält sich diese Gleichung zu der, die Sie in Ihrer Antwort angegeben haben:

? In Ihrer Gleichung definieren Sie

als gewichtete Summe von

V^{π} (s) = max_{a \in A} Q^{π} (s, a)

$V^\pi(s) = \max_{a \in A} Q^\pi(s, a)$

V^{π} (s) = \sum_{a \in A} π (a ∣ s) * Q^{π} (a, s)

$V^\pi(s) = \sum_{a \in A} \pi (a \mid s) * Q^\pi(a, s)$

V

$V$

Q

$Q$ Werte. Dies unterscheidet sich von der Definition, die ich habe und die

als das höchste

.

V

$V$

Q

$Q$

— nbro

@nbro Ich glaube, es hängt davon ab, welche Art von Politik Sie verfolgen. In einer reinen gierigen Politik sind Sie richtig. Wenn es sich jedoch um eine explorativere Politik handelte, die darauf

— abzielte

7

Sie haben es richtig gemacht, die $V$ Funktion gibt Ihnen den Wert eines Zustands und $Q$ gibt Ihnen den Wert einer Aktion in einem Zustand (gemäß einer gegebenen Richtlinie $\pi$ ). Die klarste Erklärung für Q-Learning und seine Funktionsweise fand ich in Tom Mitchells Buch "Machine Learning" (1997), Kap. 13, die heruntergeladen werden kann. $V$ ist definiert als die Summe einer unendlichen Reihe, aber es ist hier nicht wichtig. Was zählt, ist das $Q$ Funktion definiert als

Q (s, a) = r (s, a) + γ V^{*} (δ (s, a))

$Q(s,a ) = r(s,a ) + \gamma V^{*}(\delta(s,a))$ , wobei V * ist der beste Wert eines Staateswenn Sie eine optimale Politik folgen könntendie Sie nicht kennen. Doch es eine schöne Charakterisierung hinsichtlich hat

Q

$Q$

V^{*} (s) = max_{a^{'}} Q (s, a^{'})

$V^{*}(s)= \max_{a'} Q(s,a')$ Computing

Q

$Q$ durchErsetzen der getan wird

V^{*}

$V^*$ in der ersten Gleichung ergibt sich

Q (s, a) = r (s, a) + γ max_{a^{'}} Q (δ (s, a), a^{'})

$Q(s, a) = r(s, a) + \gamma \max_{a'} Q(\delta(s, a), a')$

Dies mag zunächst als merkwürdige Rekursion erscheinen, da sie den Q-Wert einer Aktion im aktuellen Status als den besten Q-Wert eines Nachfolgezustands ausdrückt , aber es ist sinnvoll, wenn Sie sich ansehen, wie der Sicherungsprozess ihn verwendet: Die Erkundung Der Prozess stoppt, wenn er einen Zielstatus erreicht und die Belohnung sammelt, die zum Q-Wert des endgültigen Übergangs wird. Wenn nun in einer nachfolgenden Trainingsepisode der Erkundungsprozess diesen Vorgängerstatus erreicht, verwendet der Sicherungsprozess die obige Gleichheit, um den aktuellen Q-Wert des Vorgängerstatus zu aktualisieren. Das nächste Mal seineDer Vorgänger wird daraufhin besucht, dass der Q-Wert des Status aktualisiert wird, und so weiter. (Mitchells Buch beschreibt eine effizientere Methode, indem alle Berechnungen gespeichert und später wiedergegeben werden.) Vorausgesetzt, jeder Zustand wird unendlich oft besucht, berechnet dieser Prozess schließlich das optimale Q

Manchmal wird eine Lernrate $\alpha$ angewendet, um zu steuern, wie viel Q tatsächlich aktualisiert wird:

Q (s, a) = (1 - α) Q (s, a) + α (r (s, a) + γ max_{a^{'}} Q (s^{'}, a^{'}))

$Q(s, a) = (1-\alpha)Q(s, a) + \alpha(r(s, a) + \gamma \max_{a'} Q(s',a'))$

= Q (s, a) + α (r (s, a) + γ max_{a^{'}} Q (s^{'}, a^{'}) - Q (s, a))

$= Q(s, a) + \alpha(r(s, a) + \gamma \max_{a'} Q(s',a') - Q(s,a))$ Hinweis jetztdass das Update auf den QWertnichtauf dem aktuellen QWert ab. In Mitchells Buch wird auch erklärt, warum dies so ist und warum Sie

α

$\alpha$ benötigen: es ist für stochastische MDPs. Ohne

α

$\alpha$ jedes Mal, wenn ein Zustand-Aktionspaar versucht wurde, eine andere Belohnung geben, so dass die Q ^ -Funktion überall abprallt und nicht konvergiert.

α

$\alpha$ ist da so, dass da das neue wissen nur zum teil akzeptiert wird. Anfänglich wird

α

$\alpha$ hoch eingestellt, damit die aktuellen (meist zufälligen) Werte von Q weniger einflussreich sind.

α

$\alpha$ wird mit fortschreitendem Training verringert, so dass neue Aktualisierungen immer weniger Einfluss haben und das Q-Lernen jetzt konvergiert

— SN
quelle

0

Hier ist eine detailliertere Erklärung der Beziehung zwischen Zustandswert und Aktionswert in Aarons Antwort. Betrachten wir zunächst die Definitionen der Wertfunktion und der Aktionswertfunktion unter der Richtlinie $\pi$ :

\begin{aligned} v_{π} (s) = E [G_{t} | S_{t} = s] \\ q_{π} (s, a) = E [G_{t} | S_{t} = s, A_{t} = a] \end{aligned}

$\begin{align} &v_{\pi}(s)=E{\left[G_t|S_t=s\right]} \\ &q_{\pi}(s,a)=E{\left[G_t|S_t=s, A_t=a\right]} \end{align}$ wobei

G_{t} = \sum_{k = 0}^{\infty} γ^{k} R_{t + k + 1}

$G_t=\sum_{k=0}^{\infty}\gamma^kR_{t+k+1}$ ist die Rückkehr zum Zeitpunkt

t

$t$ . Die Beziehung zwischen diesen beiden Wertfunktionen kann als

\begin{aligned} v_{π} (s) & = E [G_{t} | S_{t} = s] \\ = \sum_{g_{t}} p (g_{t} | S_{t} = s) g_{t} \\ = \sum_{g_{t}} \sum_{a} p (g_{t}, a | S_{t} = s) g_{t} \\ = \sum_{a} p (a | S_{t} = s) \sum_{g_{t}} p (g_{t} | S_{t} = s, A_{t} = a) g_{t} \\ = \sum_{a} p (a | S_{t} = s) E [G_{t} | S_{t} = s, A_{t} = a] \\ = \sum_{a} p (a | S_{t} = s) q_{π} (s, a) \end{aligned}

$\begin{align} v_{\pi}(s)&=E{\left[G_t|S_t=s\right]} \nonumber \\ &=\sum_{g_t} p(g_t|S_t=s)g_t \nonumber \\ &= \sum_{g_t}\sum_{a}p(g_t, a|S_t=s)g_t \nonumber \\ &= \sum_{a}p(a|S_t=s)\sum_{g_t}p(g_t|S_t=s, A_t=a)g_t \nonumber \\ &= \sum_{a}p(a|S_t=s)E{\left[G_t|S_t=s, A_t=a\right]} \nonumber \\ &= \sum_{a}p(a|S_t=s)q_{\pi}(s,a) \end{align}$ Die obige Gleichung ist wichtig. Es beschreibt die Beziehung zwischen zwei grundlegenden Wertefunktionen beim Bestärkungslernen. Es gilt für jede Police. Wenn wir darüber hinaus einedeterministischePolitik haben, ist

v_{π} (s) = q_{π} (s, π (s))

$v_{\pi}(s)=q_{\pi}(s,\pi(s))$ . Hoffe das ist hilfreich für dich. (um mehr über die Bellman - Optimalitätsgleichung zu erfahrenhttps://stats.stackexchange.com/questions/347268/proof-of-bellman-optimality-equation/370198#370198 )

— Jie Shi
quelle

0

Die Wertfunktion ist eine abstrakte Formulierung des Nutzens. Und die Q-Funktion wird für den Q-Lernalgorithmus verwendet.

— Emmanuel
quelle

Für den Kontext dieser Frage sind das

und das

unterschiedlich.

V

$V$

Q

$Q$

— Siong Thye Goh