Warum gibt es immer mindestens eine Richtlinie, die besser oder gleich allen anderen Richtlinien ist?

Reinforcement Learning: Eine Einführung. Zweite Auflage, in Bearbeitung . Richard S. Sutton und Andrew G. Barto (c) 2012, S. 67-68.

Das Lösen einer Bestärkungslernaufgabe bedeutet ungefähr, eine Politik zu finden, die auf lange Sicht eine Menge Belohnung bringt. Für endliche MDPs können wir eine optimale Richtlinie auf folgende Weise präzise definieren. Wertefunktionen definieren eine teilweise Anordnung über Richtlinien. Eine Richtlinie $\pi$ ist als besser oder gleich einer Richtlinie $\pi'$ wenn ihre erwartete Rendite für alle Zustände größer oder gleich der von $\pi'$ ist. Mit anderen Worten, $\pi \geq \pi'$ , wenn und nur wenn $v_\pi(s) \geq v_{\pi'}(s)$ für alle $s \in \mathcal{S}$ .Es gibt immer mindestens eine Richtlinie, die besser oder gleich allen anderen Richtlinien ist.Dies ist eine optimale Politik.

Warum gibt es immer mindestens eine Richtlinie, die besser oder gleich allen anderen Richtlinien ist?

Gleich nach dem zitierten Teil erfahren Sie im selben Absatz, worum es sich bei dieser Richtlinie handelt: Es ist die Richtlinie, die in jedem Bundesstaat die besten Maßnahmen ergreift. In einem MDP wirkt sich die Aktion, die wir in einem Bundesstaat ausführen, nicht auf die Belohnungen für Aktionen aus, die in anderen Bundesstaaten ausgeführt werden, sodass wir die Richtlinie einfach von Bundesstaat zu Bundesstaat maximieren können.

Die Existenz einer optimalen Politik ist nicht offensichtlich. Um zu sehen, warum, beachten Sie, dass die Wertfunktion nur eine teilweise Sortierung über den Bereich von Richtlinien bietet. Das heisst:

$$\pi' \geq \pi \iff v_{\pi'}(s) \geq v_{\pi}(s), \forall s \in S$$

Da dies nur eine partielle Ordnung ist, könnte es einen Fall geben , wo zwei Richtlinien, und π 2 , nicht vergleichbar sind. Mit anderen Worten, es gibt Teilmengen des Zustandsraums S 1 und S 2, so dass:$\pi_1$$\pi_2$$S_1$$S_2$

$$v_{\pi'}(s) \geq v_{\pi}(s), \forall s \in S_1$$

$$v_{\pi}(s) \geq v_{\pi'}(s),\forall s \in S_2$$

In diesem Fall können wir nicht sagen, dass eine Richtlinie besser ist als die andere. Wenn es sich jedoch um endliche MDPs mit Funktionen mit beschränktem Wert handelt, tritt ein solches Szenario niemals auf. Es gibt genau eine optimale Wertfunktion, obwohl es mehrere optimale Richtlinien geben kann.

Um dies zu beweisen, müssen Sie den Banach-Fixpunktsatz verstehen. Für eine detaillierte Analyse verweisen wir auf .

$\newcommand{\mc}{\mathcal} \newcommand{\mb}{\mathbb}$

Rahmen

Wir betrachten in der Einstellung von:

• Diskrete Aktionen
• Diskrete Zustände
• Begrenzte Belohnungen
• Stationäre Politik
• Unendlicher Horizont

Die optimale Richtlinie ist definiert als: und die optimale Wertfunktion ist: V ∗ = max π V π ( s ) , ∀ s ∈ S Es kann eine Menge geben von Politiken, die das Maximum erreichen. Es gibt jedoch nur eine optimale Wertefunktion: V ∗ = V π

$$\pi^\ast \in \arg \max_\pi V^\pi(s), \forall s \in \mc{S} \tag{1}$$ $$V^\ast = \max_\pi V^\pi (s), \forall s \in \mc S \tag{2}$$ $$V^\ast = V^{\pi^\ast} \tag{3}$$

Die Frage

Wie kann man beweisen, dass es mindestens ein das (1) gleichzeitig für alle s ∈ S erfüllt ?$\pi^\ast$$s \in \mc{S}$

Umriss des Beweises

1. Konstruieren Sie die optimale Gleichung , die als temporäre Ersatzdefinition der Optimalwertfunktion verwendet werden soll, und beweisen Sie in Schritt 2, dass sie der Definition gemäß Gleichung (2) entspricht.

   $$V^\ast(s) = \max_{a \in \mc A} [ R(s, a) + \gamma \, \sum_{s^\prime \in \mc S} T(s, a, s^\prime) V^\ast(s^\prime)] \tag{4}$$

2. Leiten Sie die Äquivalenz der Definition der Optimalwertfunktion über Gleichung (4) und über Gleichung (2) her.

   (Beachten Sie in der Tat, dass wir nur die Notwendigkeitsrichtung im Beweis benötigen, da die Hinlänglichkeit offensichtlich ist, da wir Gleichung (4) aus Gleichung (2) konstruiert haben.)

3. Beweisen Sie, dass es zu Gleichung (4) eine eindeutige Lösung gibt.

4. Durch Schritt 2 wissen wir, dass die in Schritt 3 erhaltene Lösung auch eine Lösung nach Gleichung (2) ist, so dass es sich um eine optimale Wertefunktion handelt.

5. Aus einer Optimalwertfunktion können wir eine optimale Richtlinie wiederherstellen, indem wir die Maximiereraktion in Gleichung (4) für jeden Zustand auswählen.

Details der Schritte

1

Da , haben wir V π * ( s ) ≤ max a ∈ A Q π * ( s , a ) . Und wenn es irgendwelche ~ s , so dass V π * ≠ max a $V^\ast(s) = V^{\pi^\ast}(s) = \mb E_a [Q^{\pi^\ast}(s, a)]$$V^{\pi^\ast}(s) \le \max_{a \in \mc A} Q^{\pi^\ast} (s, a)$$\tilde{s}$, wir können eine bessere Strategie wählen, indem wirQ ∗ (s,a)=Q π ∗ (s,a)überamaximieren$V^{\pi^\ast} \neq \max_{a \in \mc A} Q^{\pi^\ast} (s, a)$$Q^{\ast} (s, a) = Q^{\pi^\ast} (s, a)$$a$ .

2

(=>)

Es folgt Schritt 1.

(<=)

wenn also erfüllt ~ V ( s ) = max a ∈ A [ R ( s , a ) + $\tilde V$ , dann ~ V ( s ) = V * ( s ) = max π V π ( s ) , ∀ s ∈ S .$\tilde V(s) = \max_{a \in \mc A} [ R(s, a) + \gamma \, \sum_{s^\prime \in \mc S} T(s, a, s^\prime) \tilde V(s^\prime)]$$\tilde V(s) = V^\ast(s) = \max_\pi V^\pi(s), \forall s \in \mc S$

Define the optimal Bellman operator as

$$\mc T V(s) = \max_{a \in \mc A} [ R(s, a) + \gamma \, \sum_{s^\prime \in \mc S} T(s, a, s^\prime) V(s^\prime)] \tag{5}$$ So our goal is to prove that if $\tilde V = \mc T \tilde V$, then $\tilde V = V^\ast$. We show this by combining two results, following Puterman[1]:

a) If $\tilde V \ge \mc T \tilde V$, then $\tilde V \ge V^\ast$.

b) If $\tilde V \le \mc T \tilde V$, then $\tilde V \le V^\ast$.

Proof:

a)

For any $\pi = (d_1, d_2, ...)$,

$$\begin{align} \tilde V &\ge \mc T \tilde V = \max_{d} [ R_d + \gamma \, P_d \tilde V] \\ &\ge R_{d_1} + \gamma \, P_{d_1} \tilde V \\ \end{align}$$ Here $d$ is the decision rule(action profile at specific time), $R_d$ is the vector representation of immediate reward induced from $d$ and $P_d$ is transition matrix induced from $d$.

By induction, for any $n$,

$$\tilde V \ge R_{d_1} + \sum_{i=1}^{n-1} \gamma^i P_\pi^i R_{d_{i+1}} + \gamma^n P_\pi^n \tilde V$$ where $P_\pi^j$ represents the $j$-step transition matrix under $\pi$.

Since

$$V^\pi = R_{d_1} + \sum_{i=1}^{\infty}\gamma^i P_\pi^i R_{d_{i+1}}$$ we have $$\tilde V - V^\pi \ge \underbrace{\gamma^n P_\pi^n \tilde V -\sum_{i=n}^{\infty}\gamma^i P_\pi^i R_{d_{i+1}}}_{\rightarrow 0 \ \text{as}\ n\rightarrow \infty}$$ So we have $\tilde V \ge V^\pi$. And since this holds for any $\pi$, we conclude that $$\tilde V \ge \max_\pi V^\pi = V^\ast$$ b)

Follows from step 1.

3

The optimal Bellman operator is a contraction in $L_\infty$ norm, cf. [2].

Proof: For any $s$,

$$\begin{align} \left\vert \mc T V_1(s) - \mc TV_2(s) \right\vert &= \left\vert \max_{a \in \mc A} [ R(s, a) + \gamma \, \sum_{s^\prime \in \mc S} T(s, a, s^\prime) V_1(s^\prime)] -\max_{a^\prime \in \mc A} [ R(s, a^\prime) + \gamma \, \sum_{s^\prime \in \mc S} T(s, a^\prime, s^\prime) V(s^\prime)]\right\vert \\ &\overset{(*)}{\le} \left\vert \max_{a \in \mc A} [\gamma \, \sum_{s^\prime \in \mc S} T(s, a, s^\prime) (V_1(s^\prime) - V_2(s^\prime))] \right\vert \\ &\le \gamma \Vert V_1 - V_2 \Vert_\infty \end{align}$$ where in (*) we used the fact that $$\max_a f(a) - \max_{a^\prime} g(a^\prime) \le \max_a [f(a) - g(a)]$$

Thus by Banach fixed point theorum it follows that $\mc T$ has a unique fixed point.

References

[1] Puterman, Martin L.. “Markov Decision Processes : Discrete Stochastic Dynamic Programming.” (2016).

[2] A. Lazaric. http://researchers.lille.inria.fr/~lazaric/Webpage/MVA-RL_Course14_files/slides-lecture-02-handout.pdf

Die Richtlinie $a=\pi(s)$ gibt die beste Aktion $a$ im Zustand ausführen $s$ nach politik $\pi$, dh die Wertfunktion $v_\pi(s)=\max_{a \in A} q_\pi (s,a)$ ist am höchsten zum Handeln $a$ im Zustand $s$.

Es gibt immer mindestens eine Richtlinie, die besser oder gleich allen anderen Richtlinien ist.

Es gibt also immer eine Politik $\pi_*$ das gibt gleiche oder höhere erwartete Belohnungen als Politik $\pi$. Beachten Sie, dass dies dies impliziert$\pi$ könnte eine / die optimale Politik sein ($\pi_*$) selbst.