EM, gibt es eine intuitive Erklärung?

Das EM-Verfahren erscheint dem Uneingeweihten als mehr oder weniger schwarze Magie. Schätzen Sie die Parameter eines HMM (zum Beispiel) mit überwachten Daten. Dekodieren Sie dann nicht getaggte Daten, indem Sie Ereignisse vorwärts und rückwärts zählen, als ob die Daten mehr oder weniger getaggt wären. Warum macht dies das Modell besser? Ich weiß etwas über Mathematik, aber ich wünsche mir immer wieder ein Bild davon.

Nur einige Tipparbeit zu sparen, rufen Sie die beobachteten Daten , die fehlenden Daten Z (zB die versteckten Zustände des HMM), und der Parametervektor versuchen wir finden Q (zB Übergang / Emissionswahrscheinlichkeiten).$X$$Z$$Q$

Die intuitive Erklärung ist, dass wir im Grunde genommen betrügen und für einen Moment so tun, als ob wir kennen, damit wir eine bedingte Verteilung von Z finden können, mit der wir wiederum die MLE für Q finden können (wobei wir für den Moment die Tatsache ignorieren, dass wir im Grunde genommen ein Zirkular bilden Geben Sie dann zu, dass wir betrogen haben, setzen Sie unseren neuen, besseren Wert für Q ein und wiederholen Sie den Vorgang, bis wir nicht mehr betrügen müssen.$Q$$Q$$Q$

$Q$$Z|\{X,Q\}$$Q$$Q$$Z|\{X,Q\}$$Q$

$Z$$\log(f(Q|X,Z))$$Z$$Q$$Z$$X$$Q$

$Q$$Q_n$$Z|\{Q_n,X\}$$Q|\{X,Z\}$$Z|\{Q_n,X\}$$Z$$Q$$X$$Q$$Q$$Z$$Q$$Q_n$$Q_{n+1}$$Z|\{Q_{n+1}, X\}$