Was ist der Unterschied zwischen Markov-Ketten und Markov-Prozessen?

16

Ich lese widersprüchliche Informationen: Manchmal basiert die Definition darauf, ob der Zustandsraum diskret oder kontinuierlich ist, und manchmal basiert sie darauf, ob die Zeit diskret oder kontinuierlich ist.

Folie 20 dieses Dokuments :

Ein Markov-Prozess wird als Markov-Kette bezeichnet, wenn der Zustandsraum diskret, dh endlich oder abzählbar ist. Der Raum ist diskret, dh endlich oder abzählbar.

http://www.win.tue.nl/~iadan/que/h3.pdf :

Ein Markov-Prozess ist die zeitkontinuierliche Version einer Markov-Kette.

Oder man kann Markov-Kette und Markov-Prozess synonym verwenden, wobei genau angegeben wird, ob der Zeitparameter kontinuierlich oder diskret ist und ob der Zustandsraum kontinuierlich oder diskret ist.

Update 2017-03-04: Dieselbe Frage wurde unter https://www.quora.com/Can-I-use-the-words-Markov-process-and-Markov-chain-interchangeable gestellt

terminology stochastic-processes markov-process

— Franck Dernoncourt
quelle

1

Nach meiner Erfahrung ist die erste Definition falsch. Markov-Ketten werden häufig bei der Probenahme aus einer posterioren Verteilung (MCMC) verwendet. Diese posterioren können auf einem endlichen oder kontinuierlichen Zustandsraum definiert werden; Die erste Definition ist also wahrscheinlich falsch. Der zweite macht mehr Sinn. Allerdings glaube ich nicht, dass es einen großen Unterschied gibt, da ich oft den Satz "Markov-Ketten mit kontinuierlicher Zeit" gesehen habe.

— Greenparker

1

Ich erinnere mich, was ich aus dem Lehrbuch gelernt habe, ist Markov-Prozess ist der allgemeinste Begriff, und Markov-Kette ist ein zeitdiskreter und ein zustandsdiskreter Sonderfall.

— Haitao Du

8

Vom Vorwort bis zur ersten Ausgabe von "Markov Chains and Stochastic Stability" von Meyn und Tweedie:

Wir beschäftigen uns hier mit Markov-Ketten. Trotz der anfänglichen Versuche von Doob und Chung [99,71], diesen Begriff für Systeme zu reservieren, die sich auf abzählbaren Räumen mit sowohl diskreten als auch kontinuierlichen Zeitparametern entwickeln, scheint die Verwendung von Markov-Ketten verordnet worden zu sein (siehe zum Beispiel Revuz [326]) diskrete Zeit, auf welchem Raum auch immer sie wollen; und so sind die Systeme, die wir hier beschreiben.

Edit: die von mir zitierten Referenzen sind jeweils:

99: JL Doob. Stochastische Prozesse . John Wiley & Sons, New York 1953

71: KL Chung. Markovketten mit stationären Übergangswahrscheinlichkeiten . Springer-Verlag, Berlin, 2. Auflage, 1967.

326: D. Revuz. Markov-Ketten . Nordholland, Amsterdam, zweite Auflage, 1984.

— Taylor
quelle

6

Eine Methode zur Klassifizierung stochastischer Prozesse basiert auf der Art der time parameter( diskreten oder kontinuierlichen ) und state space( diskreten oder kontinuierlichen ). Dies führt zu vier Kategorien stochastischer Prozesse.

Wenn die state spacestochastischen Prozess ist diskret , ob das time parameterist diskretes oder kontinuierliches , wird der Vorgang in der Regel eine gerufene Kette .

Wenn ein stochastischer Prozess eine Markov-Eigenschaft besitzt , unabhängig von der Art des Zeitparameters (diskret oder kontinuierlich) und des Zustandsraums (diskret oder kontinuierlich) , spricht man von einem Markov-Prozess . Daher werden wir vier Kategorien von Markov-Prozessen haben.

A continuous time parameter, discrete state spacestochastischer Prozess Markov - Eigenschaft besitz ist eine sogenannte kontinuierlicher Parameter Markov - Kette (CTMC) .

A discrete time parameter, discrete state spacestochastischer Prozess Markov - Eigenschaft besitz ist eine sogenannte diskreter Parameter Markov - Kette (DTMC) .

Ebenso können wir zwei andere Markov-Prozesse haben.

Update 2017-03-09:

Every independent increment process is a Markov process.

Poisson processDie unabhängige Inkrement-Eigenschaft ist ein Markov processzeitkontinuierlicher und ein diskreter Zustandsraum.

Brownian motion processDie unabhängige Inkrement-Eigenschaft ist ein Markov processProzess mit kontinuierlichem Zeitparameter und kontinuierlichem Zustandsraum.

— LVRao
quelle