Warum liefert die eingeschränkte maximale Wahrscheinlichkeit eine bessere (unvoreingenommene) Schätzung der Varianz?

Ich lese Doug Bates ' Theoriepapier über Rs lme4-Paket, um das Wesentliche gemischter Modelle besser zu verstehen, und bin auf ein faszinierendes Ergebnis gestoßen, das ich besser verstehen möchte, wenn es darum geht, die Varianz mithilfe der eingeschränkten maximalen Wahrscheinlichkeit (REML) zu schätzen .

In Abschnitt 3.3 zum REML-Kriterium stellt er fest, dass die Verwendung von REML bei der Varianzschätzung eng mit der Verwendung einer Freiheitsgradkorrektur bei der Schätzung der Varianz aus Restabweichungen in einem angepassten linearen Modell zusammenhängt. Insbesondere kann "obwohl normalerweise nicht auf diese Weise abgeleitet" die Freiheitsgradkorrektur abgeleitet werden, indem die Varianz durch Optimierung eines "REML-Kriteriums" geschätzt wird (Gleichung (28)). Das REML-Kriterium ist im Wesentlichen nur die Wahrscheinlichkeit, aber die linearen Anpassungsparameter wurden durch Marginalisierung eliminiert (anstatt sie gleich der Anpassungsschätzung zu setzen, die die voreingenommene Stichprobenvarianz ergeben würde).

Ich habe nachgerechnet und das behauptete Ergebnis für ein einfaches lineares Modell mit nur festen Effekten überprüft . Was ich zu kämpfen habe, ist die Interpretation. Gibt es eine Perspektive, aus der es natürlich ist, eine Varianzschätzung abzuleiten, indem eine Wahrscheinlichkeit optimiert wird, bei der die Anpassungsparameter an den Rand gedrängt wurden? Es fühlt sich irgendwie Bayesianisch an, als würde ich die Wahrscheinlichkeit als posterior betrachten und die Anpassungsparameter als Randvariablen marginalisieren.

Oder ist die Rechtfertigung in erster Linie nur mathematisch - sie funktioniert im linearen Fall, ist aber auch verallgemeinerbar?

$n-1$

Die festen Effekte bestimmen das Modell 'für den Mittelwert'. Wenn Sie also eine Varianzschätzung finden können, die abgeleitet wurde, ohne den Mittelwert aus den Daten zu schätzen (indem Sie die festen Effekte (dh den Mittelwert) ausgrenzen), dann ist diese Unterschätzung von Der Spread (dh die Varianz) wird gemindert.

Dies ist das "intuitive" Verständnis, warum REML-Schätzungen die Verzerrung beseitigen; Sie finden eine Schätzung für die Varianz, ohne den 'geschätzten Mittelwert' zu verwenden.

Lesen Sie den ANHANG: DIE REML-SCHÄTZUNGSMETHODE in dieser SAS-bezogenen Ressource des Autors David Dickey.

" Wir können immer (n-1) Zahlen Z mit dem bekannten Mittelwert 0 und der gleichen Summe von Quadraten und theoretischen Varianz wie die n Y-Werte finden. Dies motiviert die Division der Z-Summe von Quadraten durch die Anzahl von Zs, die n ist -1. "

Als ich in der Grundschule war, wurde REML als das Beste seit geschnittenem Brot angesehen. Durch das Studium des lme4- Pakets habe ich gelernt, dass es nicht wirklich gut verallgemeinert wird und dass es im großen Schema der Dinge vielleicht nicht so wichtig ist.