Finite-State-Maschine mit Gamma-verteilten Wartezeiten

Ich habe eine Zustandsmaschine mit positiven und negativen Eingängen. Die Zeit zwischen positiven Eingaben folgt einer Gammaverteilung ($X_+ \sim \Gamma(k_+, \theta_+)$) und die Zeit zwischen negativen Eingaben folgt einer anderen Gammaverteilung ($X_- \sim \Gamma(k_-, \theta_-)$). Daher die Empfangswahrscheinlichkeiten$K$ positive und negative Eingaben über einen bestimmten Zeitraum sind für alle genau bekannt $K$. Die Zustandsmaschine ist unten dargestellt:

Die blauen Kästchen repräsentieren erreichbare Zustände in der Maschine, und die durchgezogenen und gestrichelten Linien repräsentieren einen positiven bzw. negativen Eingang. Wenn sich die Maschine beispielsweise im Zustand 3 befindet und ein positiver Eingang eintrifft, liefert die Maschine einen positiven Ausgang und wird auf den Zustand 2 zurückgesetzt. Wenn die Maschine dann einen negativen Eingang empfängt, wechselt sie in den Zustand 1, ohne einen Ausgang zu erzeugen.

Ist es möglich, den PMF für positive Ausgänge zu finden? Das heißt, wie hoch ist die Wahrscheinlichkeit zu bekommen$K$ positive Ausgänge über das gleiche Zeitintervall für alle $K$?

Beachten Sie, dass dies KEIN Versuch ist, das Problem vollständig zu beantworten, sondern zu zeigen, wie das Fehlen der Markov-Eigenschaft für einen Sonderfall behoben werden kann, der möglicherweise nicht zutrifft - einer, der viel zu lang ist, um Kommentare abzugeben.

Wie Sie festgestellt haben, handelt es sich leider nicht um einen Markov-Prozess, sondern um einen Semi-Markov-Prozess. Wenn Sie a) eine ganze Zahl haben$k_+$ und $k_-$und b) bereit sind, Ihren Zustandsraum zu erweitern, können Sie dies in einen Markov-Prozess umwandeln, indem Sie die Gamma-Verteilungen zu Erlang-Verteilungen machen und die Erlang-Variablen eine Summe von iid-Exponentialvariablen mit demselben Skalierungsparameter wie der ursprüngliche Erlang sind variieren.

Wir können den Zustandsraum um zwei neue Variablen erweitern, den "+ Zustand" und den "- Zustand", die aufzeichnen, "wie weit" wir bei der Erzeugung der nächsten positiven oder negativen Ankunft sind. Nehmen Sie zur Konkretheit an$k_+ = 5$;; Die nächste positive Ankunft erfolgt, wenn die fünfte von fünf aufeinanderfolgenden exponentiellen Ankünften aufgetreten ist. Der "+ -Zustand" zeichnet also auf, wie viele positive Ankünfte seit der letzten positiven Eingabe aufgetreten sind. Die Reihenfolge der "+ state" -Werte ist$\{0, 1, 2, 3, 4, 0, 1, ...\}$;; Zustand$0$ kann nur zu wechseln $0$ oder $1$, Zustand $4$ kann nur zu wechseln $4$ oder $0$, und so weiter.

Ihr Zustandsraum wird $[\text{BoxID},+,-]$ Aufzeichnen, in welcher Box sich der Prozess befindet, wie viele positive Ankünfte im Modul aufgetreten sind $k_+$und wie viele negative Ankünfte sind im Modul aufgetreten $k_-$.

Wir haben jetzt zwei zufällige Variablen - die Zeit bis zum nächsten Übergang "+ Zustand" und die Zeit bis zum nächsten Übergang "Zustand" - die beide exponentiell verteilt sind. Da das Minimum von zwei unabhängigen Exponentialvariablen selbst Exponential ist, ist die Zeit bis zum nächsten Übergang (eines beliebigen Typs) Exponential mit einer Rate, die der Summe der beiden Komponentenraten entspricht ($\theta_+ + \theta_-$ oder $1/\theta_+ + 1/\theta_-$abhängig davon, wie Ihre Gamma-Verteilungen parametrisiert sind). Die Wahrscheinlichkeit, dass der nächste Übergang ein "+ Zustand" -Übergang ist, ist gerecht$\theta_+/(\theta_+ + \theta_-)$, oder $1/\theta_+ / (1/\theta_+ + 1/\theta_-)$, wiederum abhängig davon, wie Ihre Gamma-Verteilungen parametrisiert sind. Da die Zeit bis zum nächsten Übergang jetzt exponentiell verteilt ist, verfügen Sie über eine CTMC (Continuous Time Markov Chain), die auf standardmäßige Weise analysiert werden kann.

Für ein konkretes Beispiel wird angenommen, dass positive Ankünfte mit einer Rate von auftreten $0.5/$Zeiteinheit und negative Ankünfte treten mit der Rate von auf $0.25/$Zeiteinheit. Die Zeit bis zum nächsten Übergang ist exponentiell mit einer Rate von$0.75/$Zeiteinheit und die Wahrscheinlichkeit, dass der Übergang durch eine positive Ankunft ausgelöst wird, ist $0.5/(0.5+0.25) = 2/3$.

Jetzt haben Sie einen stark vergrößerten Zustandsraum, wobei jedes Feld in Ihrem ursprünglichen Diagramm vorhanden ist $k_+k_-$ gibt das Innere an, aber zumindest haben Sie die Markov-Eigenschaft und können die stationären Wahrscheinlichkeiten finden, in Box 3 zu sein, und die Zustände mit "+ state" = $k_+-1$Dies ist einer der Zustände, aus denen Sie einen Übergang erleben können, der zu einer positiven Ausgabe führt. Wenn Sie diese stationären Wahrscheinlichkeiten mit der Übergangsmatrix und der mittleren Zeit zwischen den Übergängen kombinieren, erhalten Sie die langfristige Durchschnittsrate für eine positive Ausgabe. Sie können die gewünschte Wahrscheinlichkeitsverteilung auch anhand der stationären Wahrscheinlichkeiten, der Übergangsmatrix und der Tatsache berechnen, dass die Zeit zwischen Übergängen eine Exponentialverteilung mit bekannter Rate aufweist.