Ableiten der Bellman-Gleichung beim Reinforcement Learning

Ich sehe die folgende Gleichung in " In Reinforcement Learning. Eine Einführung ", folge aber nicht ganz dem Schritt, den ich unten in Blau hervorgehoben habe. Wie genau leitet sich dieser Schritt ab?

Dies ist die Antwort für alle, die sich über die saubere, strukturierte Mathematik dahinter wundern (dh wenn Sie zu der Gruppe von Menschen gehören, die wissen, was eine Zufallsvariable ist und die Sie zeigen oder annehmen müssen, dass eine Zufallsvariable eine Dichte hat, dann ist dies die richtige die antwort für dich ;-)):

Zunächst muss der Markov-Entscheidungsprozess nur eine endliche Anzahl von Belohnungen haben, dh es muss eine endliche Menge von Dichten existieren, die jeweils zu Variablen gehören, dh für alle und eine Abbildung so dass (dh in den Automaten hinter dem MDP kann es unendlich viele Zustände geben, aber es gibt nur endlich viele Belohnungsverteilungen, die an die möglicherweise unendlichen Übergänge zwischen den Zuständen gebunden sind)$L^1$$E$$L^1$$\int_{\mathbb{R}}x \cdot e(x) dx < \infty$$e \in E$$F : A \times S \to E$

$$p(r_t|a_t, s_t) = F(a_t, s_t)(r_t)$$ $L^1$

Satz 1 : Sei (dh eine integrierbare reelle Zufallsvariable) und sei eine andere Zufallsvariable, so dass eine gemeinsame Dichte haben, dann $X \in L^1(\Omega)$$Y$$X,Y$

$$E[X|Y=y] = \int_\mathbb{R} x p(x|y) dx$$

Beweis : Im Wesentlichen bewiesen hier von Stefan Hansen.

Satz 2 : Sei und sei eine weitere Zufallsvariable, so dass eine gemeinsame Dichte haben, dann ist wobei der Bereich von .$X \in L^1(\Omega)$$Y,Z$$X,Y,Z$

$$E[X|Y=y] = \int_{\mathcal{Z}} p(z|y) E[X|Y=y,Z=z] dz$$ $\mathcal{Z}$$Z$

Beweis :

$$\begin{align*} E[X|Y=y] &= \int_{\mathbb{R}} x p(x|y) dx \\ &~~~~\text{(by Thm. 1)}\\ &= \int_{\mathbb{R}} x \frac{p(x,y)}{p(y)} dx \\ &= \int_{\mathbb{R}} x \frac{\int_{\mathcal{Z}} p(x,y,z) dz}{p(y)} dx \\ &= \int_{\mathcal{Z}} \int_{\mathbb{R}} x \frac{ p(x,y,z) }{p(y)} dx dz \\ &= \int_{\mathcal{Z}} \int_{\mathbb{R}} x p(x|y,z)p(z|y) dx dz \\ &= \int_{\mathcal{Z}} p(z|y) \int_{\mathbb{R}} x p(x|y,z) dx dz \\ &= \int_{\mathcal{Z}} p(z|y) E[X|Y=y,Z=z] dz \\ &~~~~\text{(by Thm. 1)} \end{align*}$$

Setzen und setzen dann kann man zeigen (unter Verwendung der Tatsache, dass der MDP nur endlich viele Belohnungen hat), dass konvergiert und dass seit der Funktionist immer noch in (dh integrierbare) ein (durch die übliche Kombination der Sätze der monotonen Konvergenz und anschließend dominierte Konvergenz auf den Definitionsgleichungen für [die Faktorisierungen] die bedingten Erwartung) zeigt auch , dass Nun zeigt man das $G_t = \sum_{k=0}^\infty \gamma^k R_{t+k}$$G_t^{(K)} = \sum_{k=0}^K \gamma^k R_{t+k}$$L^1$$G_t^{(K)}$$\sum_{k=0}^\infty \gamma^k |R_{t+k}|$$L^1(\Omega)$

$$\lim_{K \to \infty} E[G_t^{(K)} | S_t=s_t] = E[G_t | S_t=s_t]$$ $$E[G_t^{(K)} | S_t=s_t] = E[R_{t} | S_t=s_t] + \gamma \int_S p(s_{t+1}|s_t) E[G_{t+1}^{(K-1)} | S_{t+1}=s_{t+1}] ds_{t+1}$$ Verwendung von , Thm. 2 über dann Thm. 1 auf und dann unter Verwendung eines direkten Marginalisierungskrieges zeigt man, dass für alle . Nun müssen wir die Grenze auf beide Seiten der Gleichung anwenden . Um die Grenze in das Integral über den Zustandsraum , müssen wir einige zusätzliche Annahmen treffen:$G_t^{(K)} = R_t + \gamma G_{t+1}^{(K-1)}$$E[G_{t+1}^{(K-1)}|S_{t+1}=s', S_t=s_t]$$p(r_q|s_{t+1}, s_t) = p(r_q|s_{t+1})$$q \geq t+1$$K \to \infty$$S$

Entweder ist der Zustandsraum endlich (dann ist und die Summe ist endlich) oder alle Belohnungen sind positiv (dann verwenden wir monotone Konvergenz) oder alle Belohnungen sind negativ (dann setzen wir ein Minuszeichen vor das Gleichung und verwenden wieder monotone Konvergenz) oder alle Belohnungen sind begrenzt (dann verwenden wir dominierte Konvergenz). Dann (durch Anwenden von auf beide Seiten der partiellen / endlichen Bellman-Gleichung oben) erhalten wir$\int_S = \sum_S$$\lim_{K \to \infty}$

$$E[G_t | S_t=s_t] = E[G_t^{(K)} | S_t=s_t] = E[R_{t} | S_t=s_t] + \gamma \int_S p(s_{t+1}|s_t) E[G_{t+1} | S_{t+1}=s_{t+1}] ds_{t+1}$$

und dann ist der Rest die übliche Dichtemanipulation.

BEMERKUNG: Selbst bei sehr einfachen Aufgaben kann der Zustandsraum unendlich sein! Ein Beispiel wäre die Aufgabe "Balancieren einer Stange". Der Zustand ist im Wesentlichen der Winkel des Pols (ein Wert in , eine unzählige Menge!)$[0, 2\pi)$

BEMERKUNG: Die Leute könnten Teig kommentieren, dieser Beweis kann viel mehr verkürzt werden, wenn Sie nur die Dichte von direkt verwenden und zeigen, dass '... ABER ... meine Fragen wären:$G_t$$p(g_{t+1}|s_{t+1}, s_t) = p(g_{t+1}|s_{t+1})$

1. Woher wissen Sie überhaupt, dass eine Dichte hat?$G_{t+1}$
2. Woher wissen Sie überhaupt, dass eine gemeinsame Dichte mit ?$G_{t+1}$$S_{t+1}, S_t$
3. Wie kann man auf ? Dies ist nicht nur die Markov-Eigenschaft: Die Markov-Eigenschaft sagt Ihnen nur etwas über die Randverteilungen aus, aber diese bestimmen nicht unbedingt die gesamte Verteilung, siehe zB multivariate Gaußsche!$p(g_{t+1}|s_{t+1}, s_t) = p(g_{t+1}|s_{t+1})$

Die Gesamtsumme der reduzierten Belohnungen nach dem Zeitpunkt sei: G t = R t + 1 + γ R t + 2 + γ 2 R t + 3 + . . $t$
$G_t = R_{t+1}+\gamma R_{t+2}+\gamma^2 R_{t+3}+...$

Der Nutzwert des Starts in Zustand zum Zeitpunkt entspricht der erwarteten Summe der abgezinsten Belohnungen des Ausführens der Richtlinie ab Zustand . Definitionsgemäß ist Nach dem Gesetz der Linearität Nach dem Gesetz vont R π s U π ( S t = s ) = E π [ G t | S t = s $s$$t$
$R$$\pi$$s$
$U_\pi(S_t=s) = E_\pi[G_t|S_t = s]$
G t = E π [ ( R t + 1 + γ ( R t + 2 + γ R t + 3 + . . $\\ = E_\pi[(R_{t+1}+\gamma R_{t+2}+\gamma^2 R_{t+3}+...)|S_t = s]$$G_t$
= E π [ ( R t + 1 + γ ( G t + 1 ) ) | S t = s ] = E π [ R t + 1 | S t = s ] + & ggr; E & pgr; [ G t + 1 | S t = s $= E_\pi[(R_{t+1}+\gamma (R_{t+2}+\gamma R_{t+3}+...))|S_t = s]$
$= E_\pi[(R_{t+1}+\gamma (G_{t+1}))|S_t = s]$
$= E_\pi[R_{t+1}|S_t = s]+\gamma E_\pi[ G_{t+1}|S_t = s]$
= E π [ R t + 1 | S t = s ] + & ggr; E & pgr; [ $= E_\pi[R_{t+1}|S_t = s]+\gamma E_\pi[E_\pi(G_{t+1}|S_{t+1} = s')|S_t = s]$Gesamterwartung Per Definition von Nach dem Gesetz der Linearität
U π = E π [ R t + 1 + γ U π ( S t + 1 = s ′ ) | S t = s $= E_\pi[R_{t+1}|S_t = s]+\gamma E_\pi[U_\pi(S_{t+1}= s')|S_t = s]$$U_\pi$
$= E_\pi[R_{t+1} + \gamma U_\pi(S_{t+1}= s')|S_t = s]$

Angenommen, der Prozess erfüllt die Markov-Eigenschaft:
Wahrscheinlichkeit , dass er in Zustand endet nachdem er von Zustand aus gestartet und die Aktion hat. und Belohnung des Endes in Zustand nachdem von Zustand und die Aktion , s ' s ein P r ( s ' | s , a ) = P r ( S t + 1 = s ' , S t = s , A t = a ) R s ' s ein R ( s , a , s ' ) = [ R t + 1 | S $Pr$$s'$$s$$a$
$Pr(s'|s,a) = Pr(S_{t+1} = s', S_t=s,A_t = a)$
$R$$s'$$s$$a$
$R(s,a,s') = [R_{t+1}|S_t = s, A_t = a, S_{t+1}= s']$

Daher können wir die obige wie :
$= \sum_a \pi(a|s) \sum_{s'} Pr(s'|s,a)[R(s,a,s')+ \gamma U_\pi(S_{t+1}=s')]$

Woher; : Handlungswahrscheinlichkeit im Zustand für eine stochastische Politik. Für deterministische Richtlinien ista s ∑ a π ( a | s ) = $\pi(a|s)$$a$$s$$\sum_a \pi(a|s)= 1$

Hier ist mein Beweis. Es basiert auf der Manipulation von bedingten Verteilungen, was das Verfolgen erleichtert. Hoffe dieser hilft dir.

$$\begin{align} v_{\pi}(s)&=E{\left[G_t|S_t=s\right]} \nonumber \\ &=E{\left[R_{t+1}+\gamma G_{t+1}|S_t=s\right]} \nonumber \\ &= \sum_{s'}\sum_{r}\sum_{g_{t+1}}\sum_{a}p(s',r,g_{t+1}, a|s)(r+\gamma g_{t+1}) \nonumber \\ &= \sum_{a}p(a|s)\sum_{s'}\sum_{r}\sum_{g_{t+1}}p(s',r,g_{t+1} |a, s)(r+\gamma g_{t+1}) \nonumber \\ &= \sum_{a}p(a|s)\sum_{s'}\sum_{r}\sum_{g_{t+1}}p(s',r|a, s)p(g_{t+1}|s', r, a, s)(r+\gamma g_{t+1}) \nonumber \\ &\text{Note that $p(g_{t+1}|s', r, a, s)=p(g_{t+1}|s')$ by assumption of MDP} \nonumber \\ &= \sum_{a}p(a|s)\sum_{s'}\sum_{r}p(s',r|a, s)\sum_{g_{t+1}}p(g_{t+1}|s')(r+\gamma g_{t+1}) \nonumber \\ &= \sum_{a}p(a|s)\sum_{s'}\sum_{r}p(s',r|a, s)(r+\gamma\sum_{g_{t+1}}p(g_{t+1}|s')g_{t+1}) \nonumber \\ &=\sum_{a}p(a|s)\sum_{s'}\sum_{r}p(s',r|a, s)\left(r+\gamma v_{\pi}(s')\right) \label{eq2} \end{align}$$ Dies ist die berühmte Bellman-Gleichung.

Was ist mit dem folgenden Ansatz?

$$\begin{align} v_\pi(s) & = \mathbb{E}_\pi\left[G_t \mid S_t = s\right] \\ & = \mathbb{E}_\pi\left[R_{t+1} + \gamma G_{t+1} \mid S_t = s\right] \\ & = \sum_a \pi(a \mid s) \sum_{s'} \sum_r p(s', r \mid s, a) \cdot \,\\ & \qquad \mathbb{E}_\pi\left[R_{t+1} + \gamma G_{t+1} \mid S_{t} = s, A_{t+1} = a, S_{t+1} = s', R_{t+1} = r\right] \\ & = \sum_a \pi(a \mid s) \sum_{s', r} p(s', r \mid s, a) \left[r + \gamma v_\pi(s')\right]. \end{align}$$

Die Summen werden eingeführt, um , und von abzurufen . Immerhin können die möglichen Aktionen und möglichen nächsten Zustände sein. Mit diesen zusätzlichen Bedingungen führt die Linearität der Erwartung fast direkt zum Ergebnis.s ' r $a$$s'$$r$$s$

Ich bin mir jedoch nicht sicher, wie streng meine Argumentation mathematisch ist. Ich bin offen für Verbesserungen.

Dies ist nur ein Kommentar / eine Ergänzung zu der akzeptierten Antwort.

Ich war verwirrt, als das Gesetz der totalen Erwartung angewendet wurde. Ich denke nicht, dass die Hauptform des Gesetzes der totalen Erwartung hier helfen kann. Eine Variante davon wird hier tatsächlich benötigt.

Wenn Zufallsvariablen sind und vorausgesetzt, dass alle Erwartungen erfüllt sind, gilt die folgende Identität:$X,Y,Z$

$E[X|Y] = E[E[X|Y,Z]|Y]$

In diesem Fall ist , und . Dann$X= G_{t+1}$$Y = S_t$$Z = S_{t+1}$

$E[G_{t+1}|S_t=s] = E[E[G_{t+1}|S_t=s, S_{t+1}=s'|S_t=s]$ , die von Markov - Eigenschaft eqauls zu$E[E[G_{t+1}|S_{t+1}=s']|S_t=s]$

Von dort konnte man den Rest des Beweises aus der Antwort folgen.

ππ(a | s)a$\mathbb{E}_\pi(\cdot)$ bezeichnet normalerweise die Erwartung, dass der Agent der Richtlinie folgt . In diesem Fall scheint nicht deterministisch zu sein, dh es wird die Wahrscheinlichkeit zurückgegeben, dass der Agent im Zustand Aktion .$\pi$$\pi(a|s)$$a$$s$

Es sieht so aus, als ob in Kleinbuchstaben , eine Zufallsvariable, ersetzt. Die zweite Erwartung ersetzt die unendliche Summe, um die Annahme widerzuspiegeln, dass wir weiterhin für alle zukünftigen folgen . ist dann die erwartete sofortige Belohnung beim nächsten Zeitschritt; Die zweite Erwartung - die zu - ist der Erwartungswert des nächsten Zustands, gewichtet mit der Wahrscheinlichkeit, in dem Zustand aufzuwachsen, der von .R t + 1 π t ∑ s ' , r r ⋅ p ( s ' , r | s , a ) v π s ' a $r$$R_{t+1}$$\pi$$t$$\sum_{s',r} r \cdot p(s′,r|s,a)$$v_\pi$$s'$$a$$s$

Somit berücksichtigt die Erwartung die politische Wahrscheinlichkeit sowie die Übergangs- und Belohnungsfunktionen, die hier zusammen als ausgedrückt werden .$p(s', r|s,a)$

Obwohl die richtige Antwort bereits gegeben wurde und einige Zeit vergangen ist, hielt ich die folgende schrittweise Anleitung für nützlich:
Durch Linearität des erwarteten Wertes können wir in und . Ich werde die Schritte nur für den ersten Teil skizzieren, da dem zweiten Teil dieselben Schritte folgen, die mit dem Gesetz der totalen Erwartung kombiniert sind.$E[R_{t+1} + \gamma E[G_{t+1}|S_{t}=s]]$$E[R_{t+1}|S_t=s]$$\gamma E[G_{t+1}|S_{t}=s]$

$$\begin{align} E[R_{t+1}|S_t=s]&=\sum_r{ r P[R_{t+1}=r|S_t =s]} \\ &= \sum_a{ \sum_r{ r P[R_{t+1}=r, A_t=a|S_t=s]}} \qquad \text{(III)} \\ &=\sum_a{ \sum_r{ r P[R_{t+1}=r| A_t=a, S_t=s] P[A_t=a|S_t=s]}} \\ &= \sum_{s^{'}}{ \sum_a{ \sum_r{ r P[S_{t+1}=s^{'}, R_{t+1}=r| A_t=a, S_t=s] P[A_t=a|S_t=s] }}} \\ &=\sum_a{ \pi(a|s) \sum_{s^{'},r}{p(s^{'},r|s,a)} } r \end{align}$$

Während (III) folgende Form hat:

$$\begin{align} P[A,B|C]&=\frac{P[A,B,C]}{P[C]} \\ &= \frac{P[A,B,C]}{P[C]} \frac{P[B,C]}{P[B,C]}\\ &= \frac{P[A,B,C]}{P[B,C]} \frac{P[B,C]}{P[C]}\\ &= P[A|B,C] P[B|C] \end{align}$$

Ich weiß, dass es bereits eine akzeptierte Antwort gibt, aber ich möchte eine wahrscheinlich konkretere Ableitung geben. Ich möchte auch erwähnen, dass der @ Jie Shi-Trick zwar etwas Sinn macht, ich mich aber sehr unwohl fühle :(. Wir müssen die zeitliche Dimension berücksichtigen, damit dies funktioniert. Und es ist wichtig zu beachten, dass die Erwartung tatsächlich ist der gesamten unendlichen Horizont übernommen, anstatt nur über und . Nehmen wir an , wir beginnen (in der Tat ist die Ableitung gleich , unabhängig von der Startzeit; ich die Gleichungen mit einem anderen Index nicht verunreinigen wollen ) $s$$s'$$t=0$$k$

$$\begin{align} v_{\pi}(s_0)&=\mathbb{E}_{\pi}[G_{0}|s_0]\\ G_0&=\sum_{t=0}^{T-1}\gamma^tR_{t+1}\\ \mathbb{E}_{\pi}[G_{0}|s_0]&=\sum_{a_0}\pi(a_0|s_0)\sum_{a_{1},...a_{T}}\sum_{s_{1},...s_{T}}\sum_{r_{1},...r_{T}}\bigg(\prod_{t=0}^{T-1}\pi(a_{t+1}|s_{t+1})p(s_{t+1},r_{t+1}|s_t,a_t)\\ &\times\Big(\sum_{t=0}^{T-1}\gamma^tr_{t+1}\Big)\bigg)\\ &=\sum_{a_0}\pi(a_0|s_0)\sum_{a_{1},...a_{T}}\sum_{s_{1},...s_{T}}\sum_{r_{1},...r_{T}}\bigg(\prod_{t=0}^{T-1}\pi(a_{t+1}|s_{t+1})p(s_{t+1},r_{t+1}|s_t,a_t)\\ &\times\Big(r_1+\gamma\sum_{t=0}^{T-2}\gamma^tr_{t+2}\Big)\bigg) \end{align}$$ beachten , dass die obige Gleichung gilt selbst IF , TATSÄCHLICH WIRD ES BIS ZUM ENDE DES UNIVERSUMS WAHR SEIN (vielleicht etwas übertrieben :))$T\rightarrow\infty$
Ich glaube, die meisten von uns sollten sich zu diesem Zeitpunkt bereits vor Augen halten, wie das oben zum endgültigen Ausdruck führt - wir müssen nur die ( ) sorgfältig . Wenden wir das Gesetz der Linearität der Erwartung auf jeden Term im$\sum_a\sum_b\sum_cabc\equiv\sum_aa\sum_bb\sum_cc$$\Big(r_{1}+\gamma\sum_{t=0}^{T-2}\gamma^tr_{t+2}\Big)$

Teil 1

$$\sum_{a_0}\pi(a_0|s_0)\sum_{a_{1},...a_{T}}\sum_{s_{1},...s_{T}}\sum_{r_{1},...r_{T}}\bigg(\prod_{t=0}^{T-1}\pi(a_{t+1}|s_{t+1})p(s_{t+1},r_{t+1}|s_t,a_t)\times r_1\bigg)$$

Nun, das ist ziemlich trivial, alle Wahrscheinlichkeiten verschwinden (tatsächlich summieren sich zu 1), mit Ausnahme derjenigen, die mit . Daher haben wir $r_1$

$$\sum_{a_0}\pi(a_0|s_0)\sum_{s_1,r_1}p(s_1,r_1|s_0,a_0)\times r_1$$

Teil 2
Ratet mal, dieser Teil ist noch trivialer - es geht nur darum, die Reihenfolge der Summierungen neu zu ordnen.

$$\sum_{a_0}\pi(a_0|s_0)\sum_{a_{1},...a_{T}}\sum_{s_{1},...s_{T}}\sum_{r_{1},...r_{T}}\bigg(\prod_{t=0}^{T-1}\pi(a_{t+1}|s_{t+1})p(s_{t+1},r_{t+1}|s_t,a_t)\bigg)\\=\sum_{a_0}\pi(a_0|s_0)\sum_{s_1,r_1}p(s_1,r_1|s_0,a_0)\bigg(\sum_{a_1}\pi(a_1|s_1)\sum_{a_{2},...a_{T}}\sum_{s_{2},...s_{T}}\sum_{r_{2},...r_{T}}\bigg(\prod_{t=0}^{T-2}\pi(a_{t+2}|s_{t+2})p(s_{t+2},r_{t+2}|s_{t+1},a_{t+1})\bigg)\bigg)$$

Und Eureka !! Wir stellen ein rekursives Muster in den großen Klammern wieder her. Kombinieren wir es mit , und wir erhalten und Teil 2 wird $\gamma\sum_{t=0}^{T-2}\gamma^tr_{t+2}$$v_{\pi}(s_1)=\mathbb{E}_{\pi}[G_1|s_1]$

$$\gamma\mathbb{E}_{\pi}[G_1|s_1]=\sum_{a_1}\pi(a_1|s_1)\sum_{a_{2},...a_{T}}\sum_{s_{2},...s_{T}}\sum_{r_{2},...r_{T}}\bigg(\prod_{t=0}^{T-2}\pi(a_{t+2}|s_{t+2})p(s_{t+2},r_{t+2}|s_{t+1},a_{t+1})\bigg)\bigg(\gamma\sum_{t=0}^{T-2}\gamma^tr_{t+2}\bigg)$$
$$\sum_{a_0}\pi(a_0|s_0)\sum_{s_1,r_1}p(s_1,r_1|s_0,a_0)\times \gamma v_{\pi}(s_1)$$

Teil 1 + Teil 2

$$v_{\pi}(s_0) =\sum_{a_0}\pi(a_0|s_0)\sum_{s_1,r_1}p(s_1,r_1|s_0,a_0)\times \Big(r_1+\gamma v_{\pi}(s_1)\Big)$$

Und jetzt, wenn wir die Zeitdimension einbauen und die allgemeinen rekursiven Formeln wiederherstellen können

$$v_{\pi}(s) =\sum_a \pi(a|s)\sum_{s',r} p(s',r|s,a)\times \Big(r+\gamma v_{\pi}(s')\Big)$$

Als ich mein letztes Geständnis ablegte, lachte ich, als ich die Leute oben sah, die die Anwendung des Gesetzes der totalen Erwartung erwähnten. So, hier bin ich

Es gibt bereits sehr viele Antworten auf diese Frage, aber die meisten enthalten nur wenige Worte, die beschreiben, was bei den Manipulationen vor sich geht. Ich werde es mit viel mehr Worten beantworten, denke ich. Anfangen,

$$G_{t} \doteq \sum_{k=t+1}^{T} \gamma^{k-t-1} R_{k}$$

ist in Gleichung 3.11 von Sutton und Barto definiert, mit einem konstanten Abzinsungsfaktor und wir können oder , aber nicht beide. Da die Belohnungen Zufallsvariablen sind, ist es auch da es sich lediglich um eine lineare Kombination von Zufallsvariablen handelt.$0 \leq \gamma \leq 1$$T = \infty$$\gamma = 1$$R_{k}$$G_{t}$

$$\begin{align} v_\pi(s) & \doteq \mathbb{E}_\pi\left[G_t \mid S_t = s\right] \\ & = \mathbb{E}_\pi\left[R_{t+1} + \gamma G_{t+1} \mid S_t = s\right] \\ & = \mathbb{E}_{\pi}\left[ R_{t+1} | S_t = s \right] + \gamma \mathbb{E}_{\pi}\left[ G_{t+1} | S_t = s \right] \end{align}$$

Diese letzte Zeile folgt aus der Linearität der Erwartungswerte. ist die Belohnung, die der Agent erhält, nachdem er zum Zeitpunkt Maßnahmen . Der Einfachheit halber gehe ich davon aus, dass es eine endliche Anzahl von Werten annehmen kann: . $R_{t+1}$$t$$r \in \mathcal{R}$

Arbeite an der ersten Amtszeit. In Worten muss ich die Erwartungswerte von berechnen, , wir wissen, dass der aktuelle Zustand . Die Formel dafür lautet$R_{t+1}$$s$

$$\begin{align} \mathbb{E}_{\pi}\left[ R_{t+1} | S_t = s \right] = \sum_{r \in \mathcal{R}} r p(r|s). \end{align}$$

Mit anderen Worten ist die Wahrscheinlichkeit des Auftretens der Belohnung vom Zustand abhängig ; Verschiedene Staaten können unterschiedliche Belohnungen haben. Diese -Verteilung ist eine Randverteilung einer Verteilung, die auch die Variablen und , die zum Zeitpunkt Aktion und den Zustand zum Zeitpunkt nach der Aktion enthielt :$r$$s$$p(r|s)$$a$$s'$$t$$t+1$

$$\begin{align} p(r|s) = \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} p(s',a,r|s) = \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} \pi(a|s) p(s',r | a,s). \end{align}$$

Wo ich , der Konvention des Buches. Wenn diese letzte Gleichheit verwirrend ist, vergessen Sie die Summen, unterdrücken Sie das (die Wahrscheinlichkeit sieht jetzt wie eine gemeinsame Wahrscheinlichkeit aus), verwenden Sie das Multiplikationsgesetz und führen Sie die Bedingung für in allen neuen Begriffen wieder ein. Es ist jetzt leicht zu erkennen, dass der erste Begriff ist$\pi(a|s) \doteq p(a|s)$$s$$s$

$$\begin{align} \mathbb{E}_{\pi}\left[ R_{t+1} | S_t = s \right] = \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} r \pi(a|s) p(s',r | a,s), \end{align}$$

nach Bedarf. Zum zweiten Term, wo ich annehme, dass eine Zufallsvariable ist, die eine endliche Anzahl von Werten annimmt . Genau wie im ersten Semester:$G_{t+1}$$g \in \Gamma$

$$\begin{align} \mathbb{E}_{\pi}\left[ G_{t+1} | S_t = s \right] = \sum_{g \in \Gamma} g p(g|s). \qquad\qquad\qquad\qquad (*) \end{align}$$

Noch einmal, ich "entmarginalisiere" die Wahrscheinlichkeitsverteilung durch Schreiben (Gesetz der Multiplikation erneut)

$$\begin{align} p(g|s) & = \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} p(s',r,a,g|s) = \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} p(g | s', r, a, s) p(s', r, a | s) \\ & = \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} p(g | s', r, a, s) p(s', r | a, s) \pi(a | s) \\ & = \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} p(g | s', r, a, s) p(s', r | a, s) \pi(a | s) \\ & = \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} p(g | s') p(s', r | a, s) \pi(a | s) \qquad\qquad\qquad\qquad (**) \end{align}$$

Die letzte Zeile dort folgt aus der Markovian-Eigenschaft. Denken Sie daran, dass die Summe aller zukünftigen (abgezinsten) Belohnungen ist, die der Agent nach dem Status erhält . Die markovianische Eigenschaft ist, dass der Prozess in Bezug auf vorherige Zustände, Aktionen und Belohnungen speicherlos ist. Künftige Maßnahmen (und die Belohnungen , die sie ernten) hängen nur von dem Zustand , in dem die Maßnahmen ergriffen werden, so , durch Annahme. Ok, der zweite Term im Beweis ist jetzt$G_{t+1}$$s'$$p(g | s', r, a, s) = p(g | s')$

$$\begin{align} \gamma \mathbb{E}_{\pi}\left[ G_{t+1} | S_t = s \right] & = \gamma \sum_{g \in \Gamma} \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} g p(g | s') p(s', r | a, s) \pi(a | s) \\ & = \gamma \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} \mathbb{E}_{\pi}\left[ G_{t+1} | S_{t+1} = s' \right] p(s', r | a, s) \pi(a | s) \\ & = \gamma \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} v_{\pi}(s') p(s', r | a, s) \pi(a | s) \end{align}$$

nach Bedarf noch einmal. Die Kombination der beiden Begriffe vervollständigt den Beweis

$$\begin{align} v_\pi(s) & \doteq \mathbb{E}_\pi\left[G_t \mid S_t = s\right] \\ & = \sum_{a \in \mathcal{A}} \pi(a | s) \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} p(s', r | a, s) \left[ r + \gamma v_{\pi}(s') \right]. \end{align}$$

AKTUALISIEREN

Ich möchte darauf eingehen, was bei der Herleitung des zweiten Terms wie ein Kinderspiel aussehen könnte. In der mit gekennzeichneten Gleichung verwende ich einen Term und später in der mit gekennzeichneten Gleichung behaupte ich, dass nicht von abhängt , indem ich die Markovsche Eigenschaft argumentiere. Man könnte also sagen, wenn dies der Fall ist, dann ist . Aber das ist nicht wahr. Ich kann weil die Wahrscheinlichkeit auf der linken Seite dieser Aussage besagt, dass dies die Wahrscheinlichkeit von bedingt durch , , und$(*)$$p(g|s)$$(**)$$g$$s$$p(g|s) = p(g)$$p(g | s', r, a, s) \rightarrow p(g | s')$$g$$s'$$a$$r$$s$. Weil wir entweder der Staat wissen oder annehmen , keiner der anderen conditionals Rolle, weil der Markow - Eigenschaft. Wenn Sie den Status nicht kennen oder nicht annehmen , hängt die zukünftige Belohnung (die Bedeutung von ) davon ab, in welchem ​​Status Sie beginnen, da dies (basierend auf der Richtlinie) bestimmt, in welchem ​​Status Sie bei der Berechnung beginnen .$s'$$s'$$g$$s'$$g$

Wenn Sie dieses Argument nicht überzeugt, versuchen Sie zu berechnen, was ist:$p(g)$

$$\begin{align} p(g) & = \sum_{s' \in \mathcal{S}} p(g, s') = \sum_{s' \in \mathcal{S}} p(g | s') p(s') \\ & = \sum_{s' \in \mathcal{S}} p(g | s') \sum_{s,a,r} p(s', a, r, s) \\ & = \sum_{s' \in \mathcal{S}} p(g | s') \sum_{s,a,r} p(s', r | a, s) p(a, s) \\ & = \sum_{s \in \mathcal{S}} p(s) \sum_{s' \in \mathcal{S}} p(g | s') \sum_{a,r} p(s', r | a, s) \pi(a | s) \\ & \doteq \sum_{s \in \mathcal{S}} p(s) p(g|s) = \sum_{s \in \mathcal{S}} p(g,s) = p(g). \end{align}$$

Wie in der letzten Zeile zu sehen ist, gilt . Der erwartete Wert von hängt davon ab, in welchem ​​Zustand Sie beginnen (dh von der Identität von ), wenn Sie den Zustand nicht kennen oder nicht annehmen .$p(g|s) = p(g)$$g$$s$$s'$