Warum wird ein Likelihood-Ratio-Test im Chi-Quadrat verteilt?

Warum ist die Teststatistik eines Likelihood-Ratio-Tests im Chi-Quadrat verteilt?

$2(\ln \text{ L}_{\rm alt\ model} - \ln \text{ L}_{\rm null\ model} ) \sim \chi^{2}_{df_{\rm alt}-df_{\rm null}}$

Wie von @Nick erwähnt, ist dies eine Konsequenz von Wilks 'Theorem . Beachten Sie jedoch, dass die Teststatistik asymptotisch $\chi^2$ -verteilt und nicht $\chi^2$ -verteilt ist.

Ich bin sehr beeindruckt von diesem Satz, weil er in einem sehr weiten Zusammenhang steht. Betrachten wir ein statistisches Modell mit Wahrscheinlichkeit $l(\theta \mid y)$ wobei $y$ der Vektor Beobachtungen von $n$ unabhängigen replizierten Beobachtungen aus einer Verteilung mit Parameter $\theta$ Zugehörigkeit zu einer Untermannigfaltigkeit $B_1$ von $\mathbb{R}^d$ mit Dimension $\dim(B_1)=s$ . Sei $B_0 \subset B_1$ eine Untervielfalt mit der Dimension $\dim(B_0)=m$ . Stellen Sie sich vor, Sie möchten testen$H_0\colon\{\theta \in B_0\}$.

Dies wird in Wilks Originalarbeit, die von @Nick erwähnt wurde, bewiesen. Ich denke, dieses Papier ist nicht leicht zu lesen. Wilks veröffentlichte später ein Buch, vielleicht mit der einfachsten Darstellung seines Satzes. Ein kurzer heuristischer Beweis findet sich in Williams 'ausgezeichnetem Buch .

Ich halte mich an Nick Sabbes harten Kommentar und meine kurze Antwort lautet: Es ist nicht so . Ich meine, es ist nur im normalen linearen Modell. Für absolut andere Umstände ist die genaue Verteilung kein . In vielen Situationen können Sie hoffen, dass die Wilks'schen Theorem-Bedingungen erfüllt sind, und dann konvergiert die Log-Likelihood-Verhältnis-Teststatistik asymptotisch in der Verteilung zu . Einschränkungen und Verstöße gegen die Bedingungen des Wilks-Theorems sind zu zahlreich, um ignoriert zu werden.χ $\chi^2$$\chi^2$

1. Der Satz geht davon aus iid Daten Probleme mit abhängigen Daten, wie Zeitreihen oder ungleiche Wahrscheinlichkeit Stichproben (für die die Wahrscheinlichkeiten schlecht definiert sind, trotzdem erwarten, die „normale“ χ 2 Tests, wie Unabhängigkeit Tests in Kreuztabellen, beginnt verhalte als Summe Σ k a k v k , v k ~ iid χ 2 1 ( Rao & Scott ). für iid Daten, ein k = 1 , und die Summe der wird χ 2 . Aber für nicht-unabhängige Daten, das ist kein länger der Fall.$\Rightarrow$$\chi^2$$\sum_k a_k v_k, v_k \sim \mbox{i.i.d.} \chi^2_1$$a_k=1$$\chi^2$
2. Der Satz nimmt an, dass der wahre Parameter im Inneren des Parameterraums liegt. Wenn Sie einen euklidischen Raum haben, mit dem Sie arbeiten können, ist das kein Problem. Bei einigen Problemen können jedoch natürliche Einschränkungen auftreten, wie z. B. Varianz 0 oder Korrelation zwischen -1 und 1. Wenn der wahre Parameter eine der Grenzen ist, ist die asymptotische Verteilung eine Mischung aus ≤ 2 mit verschiedenen Freiheitsgraden. in dem Sinne, dass das cdf des Tests die Summe solcher cdfs ist ( Andrews 2001 plus zwei oder drei weitere seiner Arbeiten aus derselben Zeit, wobei die Geschichte bis Chernoff 1954 zurückreicht ).$\ge$$\chi^2$
3. Der Satz geht davon aus, dass alle relevanten Ableitungen ungleich Null sind. Dies kann mit einigen nichtlinearen Problemen und / oder Parametrisierungen und / oder Situationen in Frage gestellt werden, in denen ein Parameter nicht unter der Null identifiziert wird. Angenommen, Sie haben ein Gaußsches Mischungsmodell und Ihre Null ist eine Komponente gegenüber der Alternative von zwei unterschiedlichen Komponenten f N ( μ 1 , σ 2 1 ) + ( 1 - f ) N ( μ 2 , σ 2 2$N(\mu_0,\sigma^2_0)$$f N(\mu_1,\sigma_1^2) + (1-f) N(\mu_2,\sigma_2^2)$mit einer Mischfraktion . Die Null ist anscheinend in der Alternative verschachtelt, aber dies kann auf verschiedene Arten ausgedrückt werden: als f = 0 (in welchem ​​Fall die Parameter μ 1 , σ 2 1 nicht identifiziert werden), f = 1 (in welchem ​​Fall μ 2) , σ 2 2 sind nicht identifiziert) oder μ 1 = μ 2 , σ 1 = σ 2 (in welchem ​​Fall $f$$f=0$$\mu_1,\sigma_1^2$$f=1$$\mu_2, \sigma_2^2$$\mu_1=\mu_2, \sigma_1=\sigma_2$$f$wird nicht identifiziert). Hier können Sie nicht einmal sagen, wie viele Freiheitsgrade Ihr Test haben soll, da Sie abhängig von der Parametrisierung der Verschachtelung unterschiedliche Einschränkungen haben. Siehe hierzu die Arbeit von Jiahua Chen, zB CJS 2001 .
4. Die kann OK arbeiten , wenn die Verteilung korrekt angegeben wurde. Ist dies nicht der Fall, wird der Test erneut abgebrochen. In dem (von Statistikern weitgehend vernachlässigten) Teilbereich der multivariaten Analyse, der als Strukturgleichungs-Kovarianz-Modellierung bezeichnet wird, wird häufig eine multivariate Normalverteilung angenommen. Selbst wenn die Struktur korrekt ist, verhält sich der Test bei einer anderen Verteilung nicht korrekt. Satorra und Bentler 1995 zeigt , dass die Verteilung wird sich Σ k ein k v k , v k ~ iid χ 2 1 , die gleiche Geschichte wie bei nicht-unabhängigen Daten in meiner Nummer 1, aber sie haben auch gezeigt , wie die$\chi^2$$\sum_k a_k v_k, v_k \sim \mbox{i.i.d.} \chi^2_1$ s hängen von der Struktur des Modells und den vierten Momenten der Verteilung ab.$a_k$
5. ${\rm Prob}[d(y) \le x]=F(x;\chi^2_d)[1+O(n^{-1})]$$n$$F(x;\chi^2_d)$$\chi^2_d$$b$${\rm Prob}[d(y)/(1+b/n) \le x]=F(x;\chi^2_d)[1+O(n^{-2})]$$\chi^2$$b$

Für eine Übersicht über diese und ähnliche esoterische Probleme in Likelihood Inference siehe Smith 1989 .