Beispiel eines inkonsistenten Maximum-Likelihood-Schätzers


13

Ich lese einen Kommentar zu einem Artikel und der Autor stellt fest, dass manchmal, auch wenn die Schätzer (ermittelt nach ML oder maximaler Quasilikelihood) nicht konsistent sind, die Potenz eines Likelihood-Ratio-Tests oder Quasi-Likelihood-Ratio-Tests immer noch konvergieren kann 1, da die Anzahl der beobachteten Daten gegen unendlich tendiert (Testkonsistenz). Wie und wann passiert das? Kennen Sie eine Bibliographie?



Likelihood Ratio und Quasilikelihood Ratio Test;)
Ein alter Mann im Meer.

Die Leistung sollte überall, außer an einem Punkt, auf 1 gehen. Was Sie nicht haben werden, ist die nominelle Fehlerrate Typ 1.
Glen_b -Reinstate Monica

@ Glen_b, könntest du bitte mehr über deinen Kommentar herausfinden? Danke;)
Ein alter Mann im Meer.

@ Glen_b, leider nein, und Wiki scheint keinen Eintrag zu haben ...
Ein alter Mann im Meer.

Antworten:


10

[Ich denke, dies könnte ein Beispiel für die Art von Situation sein, die in Ihrer Frage zur Diskussion steht.]

Es gibt zahlreiche Beispiele für inkonsistente ML-Schätzer. Inkonsistenzen treten häufig bei einer Vielzahl von leicht komplizierten Mischungsproblemen und Zensurproblemen auf.

[Die Konsistenz eines Tests besteht im Grunde nur darin, dass die Potenz des Tests für eine (festgelegte) falsche Hypothese auf eins steigt, wenn .]n

Radford Neal gibt in seinem Blogeintrag vom 09.08.2008 ein Beispiel für eine inkonsistente Maximum-Likelihood-Schätzung: Ein „gewöhnliches“ Beispiel . Es beinhaltet die Schätzung des Parameters in:θ

X | θ    (1/2)N(0,1) + (1/2)N(θ,exp(1/θ2)2)

(Neal verwendet wenn ich θ habe ), wobei die ML-Schätzung von θ zu 0 als n tendiert (und in der Tat die Wahrscheinlichkeit in einem Peak nahe 0 weit höher sein kann als beim wahren Wert für recht bescheidene Stichprobengrößen). Es ist jedoch der Fall, dass es einen Peak nahe dem wahren Wert θ gibt , er ist nur kleiner als der nahe 0.tθθ0nθ

Stellen Sie sich nun zwei Fälle vor, die sich auf diese Situation beziehen:

a) Durchführen eines Wahrscheinlichkeitsverhältnis-Tests von thgr ; 0 gegen die Alternative H 1 : & thgr ; < & thgr ; 0 ;H0:θ=θ0H1:θ<θ0

b) Durchführen eines Wahrscheinlichkeitsverhältnistests von gegen die Alternative H 1 : θ & ne; θ 0 .H0:θ=θ0H1:θθ0

Stellen Sie sich im Fall (a) vor, dass das wahre (sodass die Alternative wahr ist und 0 die andere Seite des wahren θ ist ). Dann , trotz der Tatsache , dass die Wahrscheinlichkeit sehr nahe bei 0 , daß bei überschreiten θ , bei der Wahrscheinlichkeit θ übersteigt jedoch die Wahrscheinlichkeit , dass bei θ 0 , selbst in kleinen Proben und das Verhältnis wird weiter wachsen größer als n , in solchen eine Möglichkeit, die Ablehnungswahrscheinlichkeit in einem Likelihood-Ratio-Test auf 1 zu setzen.θ<θ00θθθθ0n

Selbst in Fall (b) sollte, solange festgelegt und von 0 abgegrenzt ist , auch der Fall eintreten, dass das Wahrscheinlichkeitsverhältnis so ansteigt, dass die Zurückweisungswahrscheinlichkeit auch in einem Wahrscheinlichkeitsverhältnis-Test ermittelt wird Ansatz 1.θ00

Dies scheint also ein Beispiel für eine inkonsistente ML-Schätzung zu sein, bei der die Leistung eines LRT dennoch auf 1 gehen sollte (außer wenn ).θ0=0

[Beachten Sie, dass es an diesem Punkt wirklich nichts gibt, was nicht bereits in Whubers Antwort enthalten ist. Ich denke, es ist ein Beispiel für Klarheit und es ist viel einfacher, den Unterschied zwischen Testkonsistenz und Konsistenz eines Schätzers zu verstehen. Die Tatsache, dass der inkonsistente Schätzer im konkreten Beispiel nicht ML war, spielt für das Verständnis dieses Unterschieds keine Rolle - und die Einführung eines inkonsistenten Schätzers, der spezifisch ML ist - wie ich es hier versucht habe -, ändert das nicht wirklich inhaltliche Erklärung. Der einzige wirkliche Punkt des Beispiels hier ist, dass es Ihrer Sorge um die Verwendung eines ML-Schätzers gerecht wird.]


Vielen Dank an Glen für Ihre Antwort. Ich habe jedoch noch eine Frage. Die Sache ist, dass in der Regel im Beweis für die Grenzverteilung der LRT Chi-Quadrat sein, angenommen wird, dass die ML-Schätzer konsistent sind. Wie würden Sie in Ihrem Fall begründen, dass eine wachsende Wahrscheinlichkeitsquote die Ablehnungswahrscheinlichkeit auf 1 erhöht, wenn die Grenzverteilung unbekannt ist? Oder ist es bekannt?
Ein alter Mann im Meer.

θ

(ctd) ... Sie müssten den Autor des Kommentars, den Sie beschrieben haben, fragen, ob das das war, was sie meinten.
Glen_b -Reinstate Monica

Eigentlich ist das, was ich gesagt habe, nicht ganz richtig, da es möglich ist, dass der Zähler schneller wächst als der Nenner, aber das Verhältnis nicht ungebunden wächst (in dem Sinne, dass das Verhältnis der beiden möglicherweise wächst, aber begrenzt ist). Ich hätte so etwas wie "ausreichend schneller" sagen sollen.
Glen_b

8

(Xn)(μ,1)

T(x1,,xn)=1+x¯=1+1ni=1nxn.

T(X1,,Xn)=1+X¯(μ+1,1/n)μ+1μ

μ=μ0μ=μAX¯TTμ+1=μ0+1μ+1=μA+11α>0T1


Vielen Dank für Ihr Interesse an dieser Frage. Wie können wir in einer allgemeineren Umgebung sicher sein, dass der Test beständig ist? Ich suchte nach einer allgemeineren Antwort und nicht nach einem bestimmten Fall. Sowie vorhanden auch eine Bibliographie. Danke;)
Ein alter Mann im Meer.

Ich liege vielleicht auch falsch, aber der Schätzer T scheint nicht der ML-Schätzer zu sein. Die Frage ist: "Wann haben wir Testkonsistenz, wenn die ML-Schätzer oder die Maximum-Quasilikelihood-Schätzer nicht konsistent sind?"
Ein alter Mann im Meer.

Ich habe die Frage bearbeitet, da möglicherweise nicht klar war, was ich wollte. Sorry;)
Ein alter Mann im Meer.
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.