Schätzt der EM-Algorithmus die Parameter im Gaußschen Mischungsmodell konsistent?


9

Ich studiere das Gaußsche Mischungsmodell und stelle mir diese Frage selbst.

Angenommen, die zugrunde liegenden Daten werden aus einer Mischung der Gaußschen Verteilung erzeugt und jeder von ihnen hat einen mittleren Vektor , wobei und jeder von ihnen die gleiche Ko- hat Varianzmatrix und nehmen an, dass diese eine Diagonalmatrix ist. Angenommen, das Mischungsverhältnis beträgt , dh jeder Cluster hat das gleiche Gewicht.μ kK 1 k K & Sigma; & Sigma; 1 / KμkRp1kKΣΣ1/K

In diesem idealen Beispiel besteht die einzige Aufgabe darin, die Mittelwertvektoren zu schätzen , wobei und die Kovarianzmatrix .μ kR p 1 k K ΣKμkRp1kKΣ

Meine Frage ist: Wenn wir den EM-Algorithmus verwenden, können wir und konsistent schätzen , dh wenn die Stichprobengröße , erreicht der vom EM-Algorithmus erzeugte Schätzer den wahren Wert von und ? Σ nμkΣμ k ΣnμkΣ

Antworten:


1

Wenn der Algorithmus jedes Mal mit zufälligen Werten initialisiert wird, ist die Konvergenz nicht unbedingt konsistent. Eine nicht zufällige Initialisierung führt vermutlich jedes Mal zum gleichen Ergebnis, aber ich glaube nicht, dass dies die "richtigen" Werte von .μk

Abgesehen davon wird der Algorithmus durch Festlegen des Mischungsverhältnisses auf und Festlegen von als Diagonale dem Mittelwert-Algorithmus sehr ähnlich . Dies hat auch eine inkonsistente Konvergenz, abhängig von der zufälligen Initialisierung.Σ k1/KΣk


Ich habe numerisch experimentiert, zumindest für 2 unabhängige Klassen der Normalverteilung, die EM erzeugt einen konsistenten Schätzer des Klassenmittelwerts. K bedeutet jedoch, dass dies nicht möglich ist. Ich habe es mathematisch bewiesen
KevinKim,

1
Könnten Sie bitte mehr Details geben? ZB welche Daten Sie verwendet haben, wie Sie die Parameter initialisiert haben usw.
dcorney

Stimmen Sie mit @dcorney überein. Es hängt wirklich von den Anfangswerten ab, die Sie auswählen werden. Zumindest in der Praxis führt eine falsche Wahl der Anfangswerte zu einer inkonsistenten Schätzung (ich verwende das Mixtools R-Paket)
German Demidov
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.