Finden Sie die Anzahl der Gaußschen in einer endlichen Mischung mit dem Satz von Wilks?

Angenommen, ich habe eine Reihe unabhängiger, identisch verteilter univariater Beobachtungen und zwei Hypothesen darüber, wie x erzeugt wurde:$x$$x$

: x wird aus einer einzelnen Gaußschen Verteilung mit unbekanntem Mittelwert und unbekannter Varianz gezogen.$H_0$$x$

: x wird aus einer Mischung von zwei Gaußschen mit unbekanntem Mittelwert, Varianz und Mischungskoeffizienten gezogen.$H_A$$x$

Wenn ich richtig verstehe, sind diese verschachtelte Modelle seit dem Modell , dass repräsentiert in Bezug auf die beschrieben werden können , $H_0$ werden kann, wenn Sie die Parameter der beiden Gaußschen auf identisch beschränken oder den Mischungskoeffizienten für einen der beiden Gaußschen auf Null beschränken . $H_A$

Daher sollten Sie in der Lage sein, den EM-Algorithmus zum Schätzen der Parameter von und dann mithilfe des Wilks-Theorems zu bestimmen, ob die Wahrscheinlichkeit der Daten unter H A signifikant größer ist als die unter H 0 . Es gibt einen kleinen Vertrauenssprung in die Annahme, dass der EM-Algorithmus hier zur maximalen Wahrscheinlichkeit konvergiert, aber ich bin bereit, dies zu tun.$H_A$$H_A$$H_0$

Ich versuchte , diese in einer Monte - Carlo - Simulation unter der Annahme , dass hat 3 mehr Freiheitsgrade als H 0 (den Mittelwert und die Varianz für die zweite Gaußsche und die Mischparameter). Als ich Daten von H 0 simulierte$H_A$$H_0$$H_0$ , erhielt ich eine P-Wert-Verteilung, die im Wesentlichen ungleichmäßig war und für kleine P-Werte angereichert wurde. (Wenn EM nicht zur wahren maximalen Wahrscheinlichkeit konvergieren würde, wäre das genaue Gegenteil zu erwarten.) Was ist falsch an meiner Anwendung des Wilks-Theorems, das diese Verzerrung erzeugt?

$\mu_1, \mu_2, \sigma_1, \sigma_2, \rho$

$$H_0: (\mu_1 = \mu_2 \text{ and } \sigma_1 = \sigma_2) \text{ or } \rho \in \{0, 1\}.$$ weil entweder die beiden normalen Mischungskomponenten gleich sind, in welchem ​​Fall der Mischungsanteil irrelevant ist, oder der Mischungsanteil ρ 0 oder 1 ist, in welchem ​​Fall eine der Mischungskomponenten irrelevant ist. Die Schlussfolgerung ist, dass die Nullhypothese nicht einmal lokal als einfache Parameterbeschränkung angegeben werden kann, die die Dimension des Parameterraums von 5 auf 2 verringert.$\rho$$\rho$

Die Nullhypothese ist eine komplizierte Teilmenge des gesamten Parameterraums, und unter der Null sind die Parameter nicht einmal identifizierbar. Die üblichen Annahmen, die erforderlich sind, um den Satz von Wilk zu erhalten, brechen zusammen, insbesondere ist es nicht möglich, eine korrekte Taylor-Erweiterung der logarithmischen Wahrscheinlichkeit zu konstruieren.

Ich habe keine persönlichen Erfahrungen mit diesem speziellen Problem, aber ich kenne andere Fälle, in denen Parameter unter der Null "verschwinden", was auch hier der Fall zu sein scheint, und in diesen Fällen brechen auch die Schlussfolgerungen von Wilks Theorem zusammen . Eine schnelle Suche ergab unter anderem dieses Dokument, das relevant aussieht und in dem Sie möglicherweise weitere Referenzen zur Verwendung des Likelihood-Ratio-Tests in Bezug auf Mischungsmodelle finden.

$\rho$befindet sich an der Grenze des Parameterraums und (b) die Parametrisierung ist unter der Null nicht identifizierbar. Dies bedeutet nicht, dass die Verteilung des verallgemeinerten Wahrscheinlichkeitsverhältnisses unbekannt ist! Wenn alle 5 Parameter in Ihrem Setup unbekannt und vor allem unbegrenzt sind, konvergiert die Verteilung der LR-Statistik nicht. Wenn alle nicht identifizierbaren Parameter begrenzt sind, ist die LR-Statistik im Supremum eines abgeschnittenen Gaußschen Prozesses monoton. Die Kovarianz davon ist im allgemeinen Fall (5 Parameter) nicht einfach zu berechnen, und selbst wenn Sie sie haben, ist die Verteilung des Supremums eines solchen Prozesses nicht leicht zu approximieren. Einige praktische Ergebnisse bezüglich des Zweikomponentengemisches finden Sie hier . Interessanterweise zeigt das Papier, dass die LR-Statistik in relativ einfachen Setups weniger leistungsfähig ist als einige einfachere Statistiken. Die wegweisende Arbeit zur Ableitung der asymptotischen Verteilung bei solchen Problemen finden Sie hier . Für alle praktischen Zwecke können Sie die Mischung mithilfe eines EM anpassen und anschließend die Verteilung der LR-Statistik booten. Dies kann einige Zeit dauern, da die EM bekanntermaßen langsam ist und Sie viele Replikationen benötigen, um den Effekt der Stichprobengröße zu erfassen. Siehe hier für Details.