Was ist der Bellman-Operator beim Bestärkungslernen?

In der Mathematik, das Wort Operator kann auf mehrere unterschiedliche , aber verwandte Begriffe beziehen. Ein Operator kann als eine Funktion zwischen zwei Vektorräumen definiert werden, er kann als eine Funktion definiert werden, bei der die Domäne und die Codomäne gleich sind, oder er kann als eine Funktion von Funktionen (die Vektoren sind) zu anderen Funktionen (z Beispiel: der Differentialoperator ), dh eine Funktion höherer Ordnung (wenn Sie mit der funktionalen Programmierung vertraut sind).

Was ist der Bellman-Operator beim Verstärkungslernen (RL)? Warum brauchen wir es überhaupt? Wie hängt der Bellman-Operator mit den Bellman-Gleichungen in RL zusammen?

reinforcement-learning terminology math

— nbro
quelle

Einige Artikel zu diesem Thema sind merkmalsbasierte Methoden für die dynamische Programmierung in großem Maßstab (von John N. Tsitsiklis und Benjamin Van Roy, 1996), Eine Analyse des Lernens zeitlicher Unterschiede mit Funktionsnäherung (von John N. Tsitsiklis und Benjamin Van) Roy, 1997) und Least-Squares Policy Iteration (von Michail G. Lagoudakis und Ronald Parr, 2003).

— nbro

Einige weitere verwandte Artikel, die ich gefunden habe, sind Generalized Markov Decision Processes: Algorithmen für dynamisches Programmieren und Verstärkungslernen (von Csaba Szepesvári und Michael L. Littman, 1997) und MdPs: Lernen in unterschiedlichen Umgebungen (von István Szita, Bálint) Takács, András Lörincz, 2002).

ϵ

$\epsilon$

— nbro

Die Notation, die ich verwenden werde, stammt aus zwei verschiedenen Vorträgen von David Silver und wird auch durch diese Folien informiert .

Die erwartete Bellman-Gleichung lautet

\begin{matrix} (1) & v_{π} (s) = \sum_{a \in A} π (a | s) (R_{s}^{a} + γ \sum_{s^{'} \in S} P_{s s^{'}}^{a} v_{π} (s^{'})) \end{matrix}

$v_\pi(s) = \sum_{a\in \cal{A}} \pi(a|s) \left(\cal{R}_s^a + \gamma\sum_{s' \in \cal{S}} \cal{P}_{ss'}^a v_\pi(s')\right) \tag 1$

Wenn wir und dann können wir umschreiben als

\begin{matrix} (2) & P_{s s^{'}}^{π} = \sum_{a \in A} π (a | s) P_{s s^{'}}^{a} \end{matrix}

$\cal{P}_{ss'}^\pi = \sum\limits_{a \in \cal{A}} \pi(a|s)\cal{P}_{ss'}^a \tag 2$

\begin{matrix} (3) & R_{s}^{π} = \sum_{a \in A} π (a | s) R_{s}^{a} \end{matrix}

$\cal{R}_{s}^\pi = \sum\limits_{a \in \cal{A}} \pi(a|s)\cal{R}_{s}^a \tag 3$

(1)

$(1)$

\begin{matrix} (4) & v_{π} (s) = R_{s}^{π} + γ \sum_{s^{'} \in S} P_{s s^{'}}^{π} v_{π} (s^{'}) \end{matrix}

$v_\pi(s) = \cal{R}_s^\pi + \gamma\sum_{s' \in \cal{S}} \cal{P}_{ss'}^\pi v_\pi(s') \tag 4$

Dies kann in Matrixform geschrieben werden

\begin{matrix} (5) & [\begin{matrix} v_{π} (1) \\ ⋮ \\ v_{π} (n) \end{matrix}] = [\begin{matrix} R_{1}^{π} \\ ⋮ \\ R_{n}^{π} \end{matrix}] + γ [\begin{matrix} P_{11}^{π} & \dots & P_{1 n}^{π} \\ ⋮ & ⋱ & ⋮ \\ P_{n 1}^{π} & \dots & P_{n n}^{π} \end{matrix}] [\begin{matrix} v_{π} (1) \\ ⋮ \\ v_{π} (n) \end{matrix}] \end{matrix}

$\left. \begin{bmatrix} v_\pi(1) \\ \vdots \\ v_\pi(n) \end{bmatrix}= \begin{bmatrix} \cal{R}_1^\pi \\ \vdots \\ \cal{R}_n^\pi \end{bmatrix} +\gamma \begin{bmatrix} \cal{P}_{11}^\pi & \dots & \cal{P}_{1n}^\pi\\ \vdots & \ddots & \vdots\\ \cal{P}_{n1}^\pi & \dots & \cal{P}_{nn}^\pi \end{bmatrix} \begin{bmatrix} v_\pi(1) \\ \vdots \\ v_\pi(n) \end{bmatrix} \right. \tag 5$

Oder kompakter:

\begin{matrix} (6) & v_{π} = R^{π} + γ P^{π} v_{π} \end{matrix}

$v_\pi = \cal{R}^\pi + \gamma \cal{P}^\pi v_\pi \tag 6$

Beachten Sie, dass beide Seiten sind - dimensionale Vektoren. Hier istist die Größe des Zustandsraums. Wir können dann einen Operator als definieren $(6)$ $n$ $n=|\cal{S}|$ $\cal{T}^\pi:\mathbb{R}^n\to\mathbb{R}^n$

\begin{matrix} (7) & T^{π} (v) = R^{π} + γ P^{π} v \end{matrix}

$\cal{T^\pi}(v) = \cal{R}^\pi + \gamma \cal{P}^\pi v \tag 7$

für jedes . Dies ist der erwartete Bellman-Betreiber. $v\in \mathbb{R}^n$

Ebenso können Sie die Bellman-Optimalitätsgleichung neu schreiben

\begin{matrix} (8) & v_{*} (s) = max_{a \in A} (R_{s}^{a} + γ \sum_{s^{'} \in S} P_{s s^{'}}^{a} v_{*} (s^{'})) \end{matrix}

$v_*(s) = \max_{a\in\cal{A}} \left(\cal{R}_s^a + \gamma\sum_{s' \in \cal{S}} \cal{P}_{ss'}^a v_*(s')\right) \tag 8$

als Bellman-Optimalitätsoperator

\begin{matrix} (9) & T^{*} (v) = max_{a \in A} (R^{a} + γ P^{a} v) \end{matrix}

$\cal{T^*}(v) = \max_{a\in\cal{A}} \left(\cal{R}^a + \gamma \cal{P}^a v\right) \tag 9$

Die Bellman-Operatoren sind "Operatoren", da sie Abbildungen von einem Punkt zum anderen innerhalb des Vektorraums der Zustandswerte . $\mathbb{R}^n$

Das Umschreiben der Bellman-Gleichungen als Operatoren ist nützlich, um zu beweisen, dass bestimmte dynamische Programmieralgorithmen (z. B. Richtlinieniteration, Wertiteration) zu einem eindeutigen Fixpunkt konvergieren. Diese Nützlichkeit ergibt sich aus einer Reihe bestehender Arbeiten in der Operatortheorie, die es uns ermöglichen, spezielle Eigenschaften der Bellman-Operatoren zu nutzen.

Insbesondere die Tatsache, dass die Bellman-Operatoren Kontraktionen sind, liefert die nützlichen Ergebnisse, dass für jede Richtlinie und jeden Anfangsvektor , $\pi$ $v$

\begin{matrix} (10) & lim_{k \to \infty} (T^{π})^{k} v = v_{π} \end{matrix}

$\lim_{k\to\infty}(\cal{T}^\pi)^k v = v_\pi \tag{10}$

\begin{matrix} (11) & lim_{k \to \infty} (T^{*})^{k} v = v_{*} \end{matrix}

$\lim_{k\to\infty}(\cal{T}^*)^k v = v_* \tag{11}$

Dabei ist der Wert der Richtlinie und der Wert einer optimalen Richtlinie . Der Beweis beruht auf dem Satz der Kontraktionsabbildung . $v_\pi$ $\pi$ $v_*$ $\pi^*$

— Philip Raeisghasem
quelle