Auswahl nicht verschachtelter Modelle

13

Sowohl der Likelihood-Ratio-Test als auch der AIC sind Werkzeuge zur Auswahl zwischen zwei Modellen, und beide basieren auf der Log-Likelihood.

Aber warum kann der Likelihood-Ratio-Test nicht verwendet werden, um zwischen zwei nicht verschachtelten Modellen zu wählen, während AIC dies kann?

aic likelihood-ratio nested-models

— user7064
quelle

Akaike selbst hielt AIC für nützlich, um nicht verschachtelte Modelle zu vergleichen. Siehe sein Zitat, auf das ich in der Antwort auf den Beitrag hier verwiesen habe .

— JonesBC

18

Der LR-Test (Likelihood Ratio) testet tatsächlich die Hypothese, dass eine bestimmte Teilmenge der Parameter einigen vorgegebenen Werten entspricht. Bei der Modellauswahl bedeutet dies im Allgemeinen (aber nicht immer), dass einige der Parameter gleich Null sind. Wenn die Modelle verschachtelt sind, werden die Parameter im größeren Modell, die sich nicht im kleineren Modell befinden, getestet, wobei die Werte implizit durch den Ausschluss aus dem kleineren Modell angegeben werden. Wenn die Modelle nicht verschachtelt sind, testen Sie dies nicht mehr, da BEIDE Modelle Parameter aufweisen, die sich nicht im anderen Modell befinden, sodass die LR-Teststatistik nicht die asymptotische Verteilung aufweist, die sie (normalerweise) aufweist. tut im verschachtelten Fall. $\chi^2$

AIC wird dagegen nicht für formale Tests verwendet. Es dient zum informellen Vergleich von Modellen mit unterschiedlich vielen Parametern. Der Strafbegriff im Ausdruck für AIC ermöglicht diesen Vergleich. Es werden jedoch keine Annahmen über die funktionale Form der asymptotischen Verteilung der Unterschiede zwischen der AIC zweier nicht verschachtelter Modelle beim Modellvergleich gemacht, und die Differenz zwischen zwei AICs wird nicht als Teststatistik behandelt.

Ich füge hinzu, dass es einige Meinungsverschiedenheiten über die Verwendung von AIC mit nicht verschachtelten Modellen gibt, da die Theorie für verschachtelte Modelle ausgearbeitet wurde. Daher meine Betonung auf "nicht ... formal" und "nicht ... Teststatistik". Ich verwende es für nicht verschachtelte Modelle, aber nicht auf schnelle Weise, sondern als wichtigen, aber nicht alleinigen Input für den Modellbildungsprozess.

— Bogenschütze
quelle

@Carl - Die Ausarbeitung erfolgt in den beiden Kommentaren unmittelbar vor dem von Ihnen zitierten Kommentar. Ich denke, du solltest den Rat von Gung annehmen - eine Frage posten und beantworten. Das ist unter diesen Umständen eine faire Sache, und andere haben dies auch für "Referenzfragen" getan. Nachdem ich gerade Ihre Antwort durchgesehen habe, habe ich sie positiv bewertet.

— Jbowman

Ich nahm den Rat und neue Fragen und Antworten sind hier . Übrigens, ich habe Ihre Frage (und die akzeptierte Antwort) positiv bewertet, weil sie mich zum Nachdenken gebracht hat und nicht, weil ich völlig damit einverstanden bin. Mein Problem ist, dass die Annahme, dass nicht verschachtelte Modelle von AIC verglichen werden können, nur dann zutrifft, wenn viele andere, normalerweise ignorierte Bedingungen erfüllt sind.

— Carl

9

Die Ableitung von AIC als Schätzer des Kullback-Leibler-Informationsverlusts lässt keine Annahme zu, dass Modelle verschachtelt sind.

— David Anderson
quelle

1

Akaike ging jedoch davon aus, dass die Modelle mit denselben Daten erstellt wurden.

— DWin