Statistiken und Big Data reinforcement-learning

2

Fragen zum Q-Learning mit neuronalen Netzen

Ich habe Q-Learning implementiert, wie in http://web.cs.swarthmore.edu/~meeden/cs81/s12/papers/MarkStevePaper.pdf Um ca. F (S, A) Ich verwende eine neuronale Netzwerkstruktur wie die folgende: Aktivierung Sigmoid Eingänge, Anzahl der Eingänge + 1 für Aktionsneuronen (alle Eingänge skaliert 0-1) Ausgänge, einzelner Ausgang. Q-Wert N Anzahl der M ausgeblendeten Ebenen. Explorationsmethode zufällig 0 <rand () <propExplore …

14 machine-learning neural-networks reinforcement-learning

1

GAM vs LOESS vs Splines

Kontext : Ich möchte eine Linie in einem Streudiagramm zeichnen, die nicht parametrisch erscheint, daher verwende ich geom_smooth()in ggplotin R. Es gibt automatisch geom_smooth: method="auto" and size of largest group is >=1000, so using gam with formula: y ~ s(x, bs = "cs"). Use 'method = x' to change the …

14 r gam splines loess r data-visualization boxplot mathematical-statistics theory sufficient-statistics machine-learning classification correlation svm feature-selection probability stochastic-processes machine-learning reinforcement-learning

1

Was ist der Unterschied zwischen Episode und Epoche beim Deep-Q-Lernen?

Ich versuche die berühmte Zeitung "Atari spielen mit Deep Reinforcement Learning" ( pdf ) zu verstehen . Mir ist der Unterschied zwischen einer Epoche und einer Episode unklar . In Algorithmus befindet sich die äußere Schleife über Episoden , während in Abbildung 2 die x-Achse als Epoche bezeichnet ist . …

14 neural-networks terminology reinforcement-learning q-learning

1

Warum ist intensives Lernen nicht stabil?

In DeepMinds 2015 veröffentlichtem Artikel über vertieftes Lernen heißt es, dass "frühere Versuche, RL mit neuronalen Netzen zu kombinieren, größtenteils aufgrund von instabilem Lernen gescheitert waren". Der Aufsatz listet dann einige Ursachen auf, die auf Korrelationen zwischen den Beobachtungen beruhen. Könnte mir bitte jemand erklären, was das bedeutet? Handelt es …

13 machine-learning neural-networks deep-learning reinforcement-learning

4

Warum gibt es immer mindestens eine Richtlinie, die besser oder gleich allen anderen Richtlinien ist?

Reinforcement Learning: Eine Einführung. Zweite Auflage, in Bearbeitung . Richard S. Sutton und Andrew G. Barto (c) 2012, S. 67-68. Das Lösen einer Bestärkungslernaufgabe bedeutet ungefähr, eine Politik zu finden, die auf lange Sicht eine Menge Belohnung bringt. Für endliche MDPs können wir eine optimale Richtlinie auf folgende Weise präzise …

13 markov-process reinforcement-learning

1

Optimaler Algorithmus zur Lösung von n-armigen Banditenproblemen?

Ich habe über eine Reihe von Algorithmen zur Lösung von Problemen mit n-bewaffneten Banditen wie -greedy, Softmax und UCB1 gelesen, habe jedoch einige Probleme, herauszufinden, welcher Ansatz zur Minimierung von Bedauern am besten geeignet ist.ϵϵ\epsilon Gibt es einen bekannten optimalen Algorithmus zur Lösung des n-bewaffneten Banditenproblems? Gibt es eine Auswahl …

13 machine-learning reinforcement-learning multiarmed-bandit

2

Warum erfordert die Wiedergabe von Erfahrungen einen Algorithmus, der außerhalb der Richtlinien liegt?

In dem Artikel, in dem DQN " Atari spielen mit tiefem Verstärkungslernen " vorgestellt wurde, wurde Folgendes erwähnt: Beachten Sie, dass beim Lernen durch Wiederholung von Erfahrungen das Lernen außerhalb der Richtlinien erforderlich ist (da sich unsere aktuellen Parameter von denen unterscheiden, die zum Generieren der Stichprobe verwendet wurden), was …

12 reinforcement-learning

2

Das Problem des maschinellen Lernens in einen Regressionsrahmen übersetzen

Angenommen, ich habe eine Gruppe von erklärenden Variablen für i = 1 . . . N , t = 1 . . . T sowie ein Vektor von binären Ergebnis abhängigen Variablen Y i T . So Y wird erst in der letzten Zeit beobachtet T und nicht zu einem …

12 regression machine-learning reinforcement-learning

1

So passen Sie Gewichte mit linearer Funktionsnäherung in Q-Werte an

Beim Verstärkungslernen wird häufig eine lineare Funktionsnäherung verwendet, wenn große Zustandsräume vorhanden sind. (Wenn Nachschlagetabellen nicht mehr durchführbar sind.) Die Form des Wertes mit linearer Funktionsnäherung ist gegeben durchQ -Q−Q- Q ( s , a ) = w1f1( s , a ) + w2f2( s , a ) + ⋯ …

12 machine-learning feature-selection reinforcement-learning

2

Wann werden Monte-Carlo-Methoden gegenüber zeitlichen Differenzmethoden bevorzugt?

Ich habe in letzter Zeit viel über Reinforcement Learning geforscht. Ich folgte Sutton & Bartos Reinforcement Learning: Eine Einführung für das meiste davon. Ich weiß, was Markov-Entscheidungsprozesse sind und wie das Lernen mit dynamischer Programmierung (DP), Monte Carlo und zeitlichem Unterschied (DP) verwendet werden kann, um sie zu lösen. Das …

12 monte-carlo reinforcement-learning temporal-difference

1

Was ist die Rollout-Richtlinie in AlphaGos Artikel?

Das Papier ist hier . Die Rollout-Richtlinie ... ist eine lineare Softmax-Richtlinie, die auf schnellen, inkrementell berechneten, lokalen musterbasierten Funktionen basiert. Ich verstehe nicht, was eine Rollout-Richtlinie ist und wie sie sich auf das Richtliniennetzwerk für die Auswahl eines Umzugs bezieht. Eine einfachere Erklärung?

11 machine-learning monte-carlo reinforcement-learning games

1

Q-Learning mit Neural Network als Funktionsnäherung

Ich versuche, ein neuronales Netzwerk zu verwenden, um den Q-Wert beim Q-Learning wie bei Fragen zum Q-Learning mit neuronalen Netzwerken zu approximieren . Wie in der ersten Antwort vorgeschlagen, verwende ich eine lineare Aktivierungsfunktion für die Ausgabeebene, während ich weiterhin die Sigmoid-Aktivierungsfunktion in den verborgenen Ebenen verwende (2, obwohl ich …

11 neural-networks reinforcement-learning

2

Welche Beziehung besteht zwischen Spieltheorie und Bestärkungslernen?

Ich interessiere mich für (Deep) Reinforcement Learning (RL) . Sollte ich vor dem Eintauchen in dieses Gebiet einen Kurs in Spieltheorie (GT) belegen ? Wie hängen GT und RL zusammen?

11 deep-learning reinforcement-learning game-theory

1

Kann ein Modell von P (Y | X) durch stochastischen Gradientenabstieg von nicht-iid-Proben von P (X) und iid-Proben von P (Y | X) trainiert werden?

Beim Trainieren eines parametrisierten Modells (z. B. zur Maximierung der Wahrscheinlichkeit) über einen stochastischen Gradientenabstieg in einem Datensatz wird üblicherweise angenommen, dass die Trainingsmuster aus der Trainingsdatenverteilung entnommen werden. Wenn das Ziel darin besteht, eine gemeinsame Verteilung zu modellieren , sollte jede Trainingsprobe aus dieser Verteilung gezogen werden.P(X,Y)P(X,Y)P(X,Y)(xi,yi)(xi,yi)(x_i,y_i) Wenn das …

10 machine-learning conditional-probability reinforcement-learning gradient-descent

2

Warum konvergiert der Richtlinieniterationsalgorithmus zur optimalen Richtlinien- und Wertfunktion?

Ich las Andrew Ngs Vorlesungsunterlagen über das Lernen der Verstärkung und versuchte zu verstehen, warum die Richtlinieniteration zur optimalen Wertfunktion und zur optimalen Richtlinie konvergierte .V.∗V.∗V^*π∗π∗\pi^* Die Iteration der Rückrufrichtlinie lautet: Initialisiere π nach dem ZufallsprinzipWiederhole {L e t V. : = V.π \ Lösen Sie für die aktuelle Richtlinie …

10 reinforcement-learning policy-iteration

Als «reinforcement-learning» getaggte Fragen