Welche Beziehung besteht zwischen Spieltheorie und Bestärkungslernen?

Ich interessiere mich für (Deep) Reinforcement Learning (RL) . Sollte ich vor dem Eintauchen in dieses Gebiet einen Kurs in Spieltheorie (GT) belegen ?

Wie hängen GT und RL zusammen?

deep-learning reinforcement-learning game-theory

— Kiuhnm
quelle

Sie sind ungefähr so eng verwandt wie Hämmer und Schlagsahne. Sie können wahrscheinlich ein Problem finden, bei dem Sie beide verwenden können, aber es ist nicht häufig.

— Don Reba

@DonReba Nicht laut zwei bekannten Forschern im Bereich Reinforcement Learning: udacity.com/course/… Ich denke, dass die Spieltheorie Ihnen sagt, was die optimale Richtlinie ist, während RL Ihnen sagt, wie die Agenten die optimale oder eine gute Richtlinie lernen können .

— Kiuhnm

@ DonReba, vielleicht in Bezug auf den üblichen Inhalt, der in ihnen gelehrt wird. Die Zwecke der beiden Felder sind jedoch nicht so unterschiedlich. Reinforcement Learning könnte als ein Spiel mit unvollständigen Informationen angesehen werden, oft für einen Spieler. Oder als Zwei-Spieler-Spiel, bei dem der andere Spieler, die Natur, einer Reihe von Regeln folgt, die Sie entdecken möchten.

— Vermutungen

Das war lehrreich. :)

— Don Reba

Antworten:

Beim Reinforcement Learning (RL) ist es üblich, sich einen zugrunde liegenden Markov-Entscheidungsprozess (MDP) vorzustellen. Dann ist das Ziel von RL, eine gute Richtlinie für das MDP zu lernen, die oft nur teilweise spezifiziert ist. MDPs können unterschiedliche Ziele verfolgen, z. B. Gesamt-, Durchschnitts- oder Rabattprämie, wobei Rabattprämie die häufigste Annahme für RL ist. Es gibt gut untersuchte Erweiterungen von MDPs für Einstellungen für zwei Spieler (dh Spiele). siehe zB

Filar, Jerzy und Koos Vrieze. Wettbewerbsfähige Markov-Entscheidungsprozesse . Springer Science & Business Media, 2012.

Es gibt eine zugrunde liegende Theorie, die von MDPs und deren Erweiterung auf Zwei-Spieler-Spiele (Nullsummenspiele) geteilt wird, einschließlich z. B. des Banach-Fixpunktsatzes, der Wertiteration, der Bellman-Optimalität, der Politikiteration / Strategieverbesserung usw. diese engen Verbindungen zwischen MDPs (und damit RL) und dieser speziellen Art von Spielen:

Sie können RL (und MDPs) direkt kennenlernen, ohne GT als Voraussetzung.
Auf jeden Fall würden Sie in den meisten GT-Kursen nichts über dieses Zeug lernen (das sich normalerweise auf strategische Form, umfangreiche Form und wiederholte Spiele konzentriert, aber nicht auf die staatlichen unendlichen Spiele, die MDPs verallgemeinern).

— Rahul Savani
quelle

Die Spieltheorie ist im Kontext des Multi-Agent Reinforcement Learning (MARL) ziemlich involviert.

Schauen Sie sich stochastische Spiele an oder lesen Sie den Artikel Eine Analyse der stochastischen Spieltheorie für das Lernen zur Verstärkung mehrerer Agenten .

Ich würde GT nicht als Voraussetzung für RL sehen. Es bietet jedoch eine schöne Erweiterung des Multi-Agent-Falls.

— Jan Vainer
quelle