Was ist „eingeschränkte maximale Wahrscheinlichkeit“ und wann sollte es angewendet werden?

73

Ich habe in der Zusammenfassung dieses Papiers gelesen, dass:

"Das Maximum Likelihood (ML) -Verfahren von Hartley aud Rao wird durch Anpassen einer Transformation von Patterson und Thompson modifiziert, bei der die Wahrscheinlichkeitsrendernormalität in zwei Teile aufgeteilt wird, von denen einer frei von festen Effekten ist. Die Maximierung dieses Teils ergibt die sogenannte beschränkte Maximum Likelihood (REML) Schätzer. "

Ich habe auch in der Zusammenfassung dieses Papiers gelesen, dass REML:

"Berücksichtigt den Verlust an Freiheitsgraden, der sich aus der Schätzung fester Effekte ergibt."

Leider habe ich keinen Zugang zum vollständigen Text dieser Papiere (und würde es wahrscheinlich nicht verstehen, wenn ich es tun würde).

Was sind die Vorteile von REML gegenüber ML? Unter welchen Umständen kann REML bei der Anpassung eines Mixed-Effects-Modells gegenüber ML bevorzugt werden (oder umgekehrt)? Bitte geben Sie eine Erklärung an, die für jemanden mit einem mathematischen Hintergrund am Gymnasium (oder darüber hinaus) geeignet ist!

mixed-model maximum-likelihood reml

— Joe King
quelle

Siehe stats.stackexchange.com/questions/99895/…

62

Gemäß der Antwort von ocram ist ML für die Schätzung von Varianzkomponenten voreingenommen. Beachten Sie jedoch, dass die Vorspannung bei größeren Stichproben kleiner wird. Als Antwort auf Ihre Fragen " ... was sind die Vorteile von REML gegenüber ML? Unter welchen Umständen kann REML gegenüber ML bevorzugt werden (oder umgekehrt), wenn ein Modell mit gemischten Effekten angepasst wird ? ", Für kleine Stichprobengrößen wird REML bevorzugt. Likelihood-Ratio-Tests für REML erfordern jedoch in beiden Modellen genau die gleichen Festeffektspezifikationen. Um Modelle mit unterschiedlichen festen Effekten (ein häufiges Szenario) mit einem LR-Test zu vergleichen, muss ML verwendet werden.

REML berücksichtigt die Anzahl der geschätzten (festen Effekte) Parameter, wobei jeweils 1 Freiheitsgrad verloren geht. Dies wird erreicht, indem ML auf die Residuen der kleinsten Quadrate angewendet wird, die von den festen Effekten unabhängig sind.

— Robert Long
quelle

8

In der Tat ist der REML-Schätzer einer Varianzkomponente normalerweise (ungefähr) vorurteilsfrei, während der ML-Schätzer negativ vorgespannt ist. Der ML-Schätzer hat jedoch normalerweise einen niedrigeren mittleren quadratischen Fehler (MSE) als der REML-Schätzer. Wenn Sie also im Durchschnitt Recht haben möchten, entscheiden Sie sich für REML, aber Sie zahlen dafür mit einer größeren Variabilität in den Schätzungen. Wenn Sie dem wahren Wert im Durchschnitt näher kommen möchten, wählen Sie ML, aber Sie zahlen dafür mit negativer Tendenz.

— Wolfgang

3

n

$n$

(n - 1)

$(n-1)$

"ML ist für die Schätzung von Varianzkomponenten voreingenommen". Bedeutet dies die Varianz der Zufallseffekte oder auch die Standardfehler der Festeffektkoeffizienten?

— 17.

54

Hier ist eine schnelle Antwort ...

Standard illustratives Beispiel

$y = (y_1, \dotsc, y_n)$ $\mathrm{N}(\mu, \sigma^2$ $\mu$ $\sigma^2$ $\sigma^2$ $\sigma^2$

{\hat{σ}}_{ML}^{2} = \frac{1}{n} \sum_{ich = 1}^{n} (y_{ich} - \bar{y})^{2}

$\hat{\sigma}^2_{\textrm{ML}} = \frac{1}{n} \sum_{i=1}^n (y_i -\bar{y})^2$

\bar{y} = \frac{1}{n} \sum_{i = 1}^{n} y_{i}

$\bar{y} = \frac{1}{n} \sum_{i=1}^n y_i$

μ

$\mu$

E ({\hat{σ}}_{ML}^{2}) = \frac{n - 1}{n} σ^{2} .

$\mathrm{E}(\hat{\sigma}^2_{\textrm{ML}}) = \frac{n-1}{n} \sigma^2.$

{\hat{σ}}_{ML}^{2}

$\hat{\sigma}^2_{\textrm{ML}}$

\frac{1}{n} \sum_{i = 1}^{n} {((y_{i} - μ) + (μ - \bar{y}))}^{2}

$\frac{1}{n} \sum_{i=1}^n \left((y_i - \mu) + (\mu - \bar{y})\right)^2$

{\hat{σ}}_{ML}^{2}

$\hat{\sigma}^2_{\textrm{ML}}$

μ

$\mu$

σ^{2}

$\sigma^2$

{\hat{σ}}_{ML}^{2}

$\hat{\sigma}^2_{\textrm{ML}}$ $\bar{x}$

σ^{2}

$\sigma^2$

μ

$\mu$

$y$ $Ky$ $K$ $\mathrm{E}[Ky] = 0$

Die REML-Schätzung wird häufig im komplexeren Kontext gemischter Modelle verwendet. Jedes Buch über gemischte Modelle enthält einen Abschnitt, in dem die REML-Schätzung ausführlicher erläutert wird.

Bearbeiten

@ Joe King: Hier ist eines meiner Lieblingsbücher über gemischte Modelle, das vollständig online verfügbar ist. Abschnitt 2.4.2 befasst sich mit der Schätzung von Varianzkomponenten. Viel Spaß beim Lesen :-)

— Ocram
quelle

Vielen Dank - das ist hilfreich - obwohl ich keinen einfachen Zugang zu Büchern über gemischte Modelle habe. Könnten Sie bitte Ihre Antwort auf die 2 Zitate in meinem Beitrag beziehen?

— Joe King

Ich frage mich, wie ein multivariater Gaußscher die Geschichte verändert. stats.stackexchange.com/questions/167494/…

— Sibbs Gambling 18.08.15

9

Die ML-Methode unterschätzt die Varianzparameter, da sie davon ausgeht, dass die festen Parameter bei der Schätzung der Varianzparameter ohne Unsicherheit bekannt sind.

Die REML-Methode verwendet einen mathematischen Trick, um die Schätzungen für die Varianzparameter unabhängig von den Schätzungen für die festen Effekte zu machen. REML berechnet zunächst Regressionsreste für die Beobachtungen, die durch den Teil des Modells mit festen Effekten modelliert wurden, und ignoriert an dieser Stelle alle Varianzkomponenten.

ML-Schätzungen sind vorurteilsfrei für die festen Effekte, aber voreingenommen für die zufälligen Effekte, während die REML-Schätzungen vorurteilsfrei für die festen Effekte und vorurteilsfrei für die zufälligen Effekte sind.

— Skan
quelle