Als «markov-process» getaggte Fragen

Ein stochastischer Prozess mit der Eigenschaft, dass die Zukunft angesichts der Gegenwart bedingt unabhängig von der Vergangenheit ist.

3
Schätzen der Markov-Übergangswahrscheinlichkeiten aus Sequenzdaten
Ich habe einen vollständigen Satz von Sequenzen (um genau zu sein 432 Beobachtungen) von 4 Zuständen : zA−DA−DA-D Y=⎛⎝⎜⎜⎜⎜AB⋮BCA⋮CDA⋮ADC⋮DBA⋮AA−⋮BC−⋮A⎞⎠⎟⎟⎟⎟Y=(ACDDBACBAACA−−⋮⋮⋮⋮⋮⋮⋮BCADABA)Y=\left(\begin{array}{c c c c c c c} A& C& D&D & B & A &C\\ B& A& A&C & A&- &-\\ \vdots&\vdots&\vdots&\vdots&\vdots&\vdots&\vdots\\ B& C& A&D & A & B & A\\ \end{array}\right) …
2
Was ist der Unterschied zwischen Markov-Ketten und Markov-Prozessen?
Was ist der Unterschied zwischen Markov-Ketten und Markov-Prozessen? Ich lese widersprüchliche Informationen: Manchmal basiert die Definition darauf, ob der Zustandsraum diskret oder kontinuierlich ist, und manchmal basiert sie darauf, ob die Zeit diskret oder kontinuierlich ist. Folie 20 dieses Dokuments : Ein Markov-Prozess wird als Markov-Kette bezeichnet, wenn der Zustandsraum …
4
Ein praktisches Beispiel für MCMC
Ich habe einige Vorlesungen über MCMC gelesen. Ich finde jedoch kein gutes Beispiel für die Verwendung. Kann mir jemand ein konkretes Beispiel geben. Ich kann nur sehen, dass sie eine Markov-Kette führen und sagen, dass ihre stationäre Verteilung die gewünschte Verteilung ist. Ich möchte ein gutes Beispiel, bei dem es …
4
Warum gibt es immer mindestens eine Richtlinie, die besser oder gleich allen anderen Richtlinien ist?
Reinforcement Learning: Eine Einführung. Zweite Auflage, in Bearbeitung . Richard S. Sutton und Andrew G. Barto (c) 2012, S. 67-68. Das Lösen einer Bestärkungslernaufgabe bedeutet ungefähr, eine Politik zu finden, die auf lange Sicht eine Menge Belohnung bringt. Für endliche MDPs können wir eine optimale Richtlinie auf folgende Weise präzise …
2
Numerische Löser für stochastische Differentialgleichungen in R: Gibt es welche?
Ich suche ein allgemeines, sauberes und schnelles (dh unter Verwendung von C ++ - Routinen) R-Paket zum Simulieren von Pfaden aus einer nicht homogenen nichtlinearen Diffusion wie (1) unter Verwendung des Euler-Maruyama-Schemas, des Milstein-Schemas (oder eines anderen). Dies ist dazu bestimmt, in einen größeren Schätzcode eingebettet zu werden, und verdient …
3
Mathematische Modellierung neuronaler Netze als grafische Modelle
Ich habe Mühe, die mathematische Verbindung zwischen einem neuronalen Netzwerk und einem grafischen Modell herzustellen. In grafischen Modellen ist die Idee einfach: Die Wahrscheinlichkeitsverteilung wird gemäß den Cliquen in der Grafik faktorisiert, wobei die Potentiale normalerweise aus der Exponentialfamilie stammen. Gibt es eine äquivalente Begründung für ein neuronales Netzwerk? Kann …
1
Konfidenzintervalle für Zeitreihendifferenzen
Ich habe ein stochastisches Modell, das verwendet wird, um Zeitreihen eines Prozesses zu simulieren. Ich interessiere mich für den Effekt der Änderung eines Parameters auf einen bestimmten Wert und möchte den Unterschied zwischen der Zeitreihe (z. B. Modell A und Modell B) und einer Art simulationsbasiertem Konfidenzintervall zeigen. Ich habe …
1
Test auf Markov-Eigenschaft in einer Zeitreihe
Bei einer (beobachteten) Zeitreihe mit gibt es einen statistischen Test zum Testen der Nullhypothese, dass P (X_t | X_ {t-1}, X_ { t-2}, ..., X_1) = P (X_t | X_ {t-1}) (dh die Markov-Eigenschaft)?XtXtX_tXt∈{1,...,n}Xt∈{1,...,n}X_t\in\{1,...,n\}P(Xt|Xt−1,Xt−2,...,X1)=P(Xt|Xt−1)P(Xt|Xt−1,Xt−2,...,X1)=P(Xt|Xt−1)P(X_t|X_{t-1},X_{t-2},...,X_1)=P(X_t|X_{t-1})
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.