Generalisierter Log Likelihood Ratio Test für nicht verschachtelte Modelle

Ich verstehe, dass ich, wenn ich zwei Modelle A und B habe und A in B verschachtelt ist, anhand einiger Daten die Parameter von A und B mithilfe von MLE anpassen und den verallgemeinerten Log-Likelihood-Ratio-Test anwenden kann. Insbesondere sollte die Verteilung des Tests mit Freiheitsgraden sein, wobei die Differenz in der Anzahl der Parameter ist, die und haben. $\chi^2$ $n$ $n$ $A$ $B$

Was passiert jedoch, wenn und dieselbe Anzahl von Parametern haben, die Modelle jedoch nicht verschachtelt sind? Das heißt, sie sind einfach verschiedene Modelle. Gibt es eine Möglichkeit, einen Likelihood-Ratio-Test anzuwenden, oder kann man etwas anderes tun? $A$ $B$

maximum-likelihood model-selection likelihood-ratio

— Lembik
quelle

Antworten:

Das Papier Vuong, QH (1989). Likelihood-Ratio-Tests für Modellauswahl und nicht verschachtelte Hypothesen. Econometrica, 307 & ndash; 333. hat die vollständigen theoretischen Behandlungs- und Testverfahren. Es unterscheidet drei Situationen: "Streng nicht verschachtelte Modelle", "Überlappende Modelle", "Verschachtelte Modelle" und untersucht auch Fälle von Fehlspezifikationen. Es ist daher kein Zufall , dass die Teststatistik in einigen Fällen als lineare Kombination von Chi-Quadraten verteilt ist .

Das Papier ist nicht leicht und schlägt auch kein Testverfahren von der Stange vor. Ausnahmsweise sprechen seine (fast) 3.000 Zitate von seinen Vorzügen, da sie eine inspirierte Kombination aus klassischem Testrahmen und informationstheoretischem Ansatz sind.

— Alecos Papadopoulos
quelle

Der Generalized Likelihood Ratio-Test funktioniert NICHT so, wie Sie es sagen. Siehe zum Beispiel die folgenden Vorlesungsunterlagen:

http://www.maths.manchester.ac.uk/~peterf/MATH38062/MATH38062%20GLRT.pdf

http://www.maths.qmul.ac.uk/~bb/MS_Lectures_12b.pdf

Die GLRT ist für Hypothesen vom Typ definiert:

H_{0} : θ \in Θ_{0} v s . H_{1} : θ \in Θ_{1},

$H_0: \theta\in\Theta_0 \,\,\, vs. \,\,\, H_1: \theta\in\Theta_1,$

Dabei ist und . $\Theta_0\cap\Theta_1=\emptyset$ $\Theta_0\cup\Theta_1=\Theta$

Für das von Ihnen beschriebene Framework können Sie die Modelle mit anderen Tools wie AIC und BIC vergleichen. Auch Bayes-Faktoren, wenn Sie bereit sind, voll Bayesian zu gehen.

— Waterman
quelle

Willkommen im Lebenslauf. Vielleicht wäre es für Sie von Interesse, das Papier nachzuschlagen, das ich in meiner eigenen Antwort auf diese Frage erwähne.

— Alecos Papadopoulos

@AlecosPapadopoulos Vielen Dank für den Hinweis. Ich warf einen kurzen Blick darauf und wie erwartet sind die Bedingungen für diese Art von GLRT sehr, sehr (sehr, sehr) restriktiv. Ich würde mich also lieber für etwas Sichereres entscheiden. Ich weiß, es wird viel zitiert, Entschuldigung für die Gotteslästerung.

— Waterman

@AlecosPapadopoulos Insbesondere finde ich die Kompaktheit der Parameterraumbedingung (Annahme A2) äußerst unattraktiv.

— Waterman

Die sehr lehrreiche (wenn auch wahrscheinlich nicht reale) historische Anekdote um Laplace's Magnum Opus ist, dass Napoleon der Große es las und Laplace kommentierte: "Ich sehe, dass Sie Gott nirgendwo in Ihrem Buch erwähnen", worauf Laplace angeblich antwortete: "Ich brauchte es nicht." Diese Hypothese "... bedeutet, dass das Konzept des" Heiligen "in der Wissenschaft nicht benötigt wird und es daher keine Gotteslästerung geben kann.

— Alecos Papadopoulos

... Was Ihren zweiten Kommentar zu Annahme A2 betrifft, bedeutet dies vermutlich, dass das gesamte Maximum-Likelihood-Framework nicht ganz den Anforderungen Ihres Fachgebiets entspricht, außer vielleicht, wenn die beteiligten Verteilungen logarithmisch-konkave Dichten aufweisen.

— Alecos Papadopoulos