Erklären Sie den Rückwärtsalgorithmus für das Hidden-Markov-Modell

Ich habe den Viterbi und Forward Algorithmus implementiert , leider kann ich seltsamerweise nicht verstehen, wie der Backward Algorithmus funktioniert. Intuitiv habe ich das Gefühl, dass ich das Gleiche wie in Vorwärts nur rückwärts tun muss, wobei ich die Werte verwende, die während der Vorwärtsausbreitung berechnet wurden .

Ist meine Intuition richtig?

Ich habe zu diesem Zeitpunkt viele Folien gelesen und die mathematische Notation satt. Es hilft nicht. Ich brauche etwas, das im Klartext den Unterschied zwischen Rückwärts- und Vorwärtsalgorithmen erklärt .

Können Sie eine kurze Erklärung geben, wie der Rückwärtsalgorithmus ausgeführt wird?

Nehmen Sie das folgende kleine HMM und die Ergebnisse des Vorwärtsalgorithmus für die folgende "BB" -Sequenz an:

START -> 1
H: 0.5 * 0.8 = 0.4
L: 0.5 * 0.6 = 0.3

1 -> 2
H: 0.4 * 0.2 * 0.8 + 0.3 * 0.6 * 0.8 = 0.208
L: 0.4 * 0.8 * 0.6 + 0.3 * 0.4 * 0.6 = 0.264

2 -> END
END: 0.208 * 0.3 + 0.264 * 0.7 = 0.2472

Sieht so aus, als ob Ihre Beobachtungssequenz B, B ist. Wir bezeichnen die Beobachtung zum Zeitpunkt als und den verborgenen Zustand zum Zeitpunkt als . Wenn wir als Vorwärtswerte und als Rückwärtswerte bezeichnen ( ist einer der möglichen versteckten Zustände).$t$$z_t$$t$$x_t$$\alpha_t(i)$$\beta_t(i)$$i$

$\alpha_t(i)=P(x_t=i,z_{1:t})$

Dies bedeutet, dass die Wahrscheinlichkeit ist, zum Zeitpunkt zum Zustand zu gelangen und die Beobachtungen bis zum Zeitpunkt . Dann,$\alpha_t(i)$$i$$t$$t$

$\beta_t(i) = P(z_{t+1:T}\mid x_t=i)$ was die Wahrscheinlichkeit ist, die verbleibende Sequenz von bis zum Ende der Zeit zu emittieren, nachdem sie sich zum Zeitpunkt im verborgenen Zustand .$t+1$$i$$t$

Um die Rekursion auf durchzuführen, können wir schreiben:$\beta_t(i)$

$P(z_{t+1:T}\mid x_t=i)=\sum\limits_jP(x_{t+1}=j,z_{t+1:T}\mid x_{t}=i)$

Unter Verwendung der Kettenregel ist $P(x_{t+1}=j,z_{t+1:T}\mid x_{t}=i) = P(z_{t+2:T},z_{t+1},x_{t+1}=j\mid x_{t}=i)\\ =P(z_{t+2:T}\mid z_{t+1},x_{t+1}=j, x_{t}=i)P(z_{t+1}\mid x_{t+1}=j, x_{t}=i)P(x_{t+1}=j\mid x_{t}=i)$

Aus bedingten Unabhängigkeiten von HMM vereinfachen sich die obigen Wahrscheinlichkeiten zu $P(z_{t+2:T}\mid x_{t+1}=j)P(z_{t+1}\mid x_{t+1}=j)P(x_{t+1}=j\mid x_{t}=i)$

Beachten Sie, dass aus unserer Definition.$P(z_{t+2:T}\mid x_{t+1}=j) =\beta_{t+1}(j)$

Wenn wir wir:$P(z_{t+1:T}\mid x_t=i)$

$\beta_t(i) = P(z_{t+1:T}\mid x_t=i) = \sum\limits_j \beta_{t+1}(j)P(z_{t+1}\mid x_{t+1}=j)P(x_{t+1}=j\mid x_t=i)$

Jetzt haben Sie eine Rekursion für die Beta. Die letzten beiden Terme der letzten Gleichung, die Sie aus Ihrem Modell kennen. Hier gehen wir ab dem Ende der Kette (T) rückwärts und berechnen alle , daher der Rückwärtsalgorithmus. Vorwärts muss man von vorne beginnen und bis zum Ende der Kette gehen.$\beta_t$

In Ihrem Modell müssen Sie für alle initialisieren . Dies ist die Wahrscheinlichkeit, nach keine Beobachtungen zu .i T = $\beta_T(i) = P(\emptyset \mid x_T=i)=1$$i$$T=2$