Warum muss man REML (anstelle von ML) verwenden, um unter verschachtelten Var-Covar-Modellen zu wählen?

Verschiedene Beschreibungen zur Modellauswahl für zufällige Effekte von linearen gemischten Modellen weisen an, REML zu verwenden. Ich kenne den Unterschied zwischen REML und ML auf einer bestimmten Ebene, aber ich verstehe nicht, warum REML verwendet werden sollte, weil ML voreingenommen ist. Ist es beispielsweise falsch, mit ML eine LRT für einen Varianzparameter eines Normalverteilungsmodells durchzuführen (siehe folgenden Code)? Ich verstehe nicht, warum es bei der Modellauswahl wichtiger ist, unvoreingenommen zu sein als ML. Ich denke, die ultimative Antwort muss lauten: "Weil die Modellauswahl mit REML besser funktioniert als mit ML", aber ich möchte ein bisschen mehr darüber wissen. Ich habe die Ableitungen von LRT und AIC nicht gelesen (ich bin nicht gut genug, um sie gründlich zu verstehen), aber wenn REML explizit in den Ableitungen verwendet wird, muss ich nur wissen, dass dies tatsächlich ausreicht (z. B.

n <- 100
a <- 10
b <- 1
alpha <- 5
beta <- 1
x <- runif(n,0,10)
y <- rnorm(n,a+b*x,alpha+beta*x)

loglik1 <- function(p,x,y){
   a <- p[1]
   b <- p[2]
   alpha <- p[3]
  -sum(dnorm(y,a+b*x,alpha,log=T))
}

loglik2 <- function(p,x,y){
   a <- p[1]
   b <- p[2]
   alpha <- p[3]
   beta <- p[4]
  -sum(dnorm(y,a+b*x,alpha+beta*x,log=T))
}

m1 <- optim(c(a,b,alpha),loglik1,x=x,y=y)$value
m2 <- optim(c(a,b,alpha,beta),loglik2,x=x,y=y)$value
D <- 2*(m1-m2)
1-pchisq(D,df=1) # p-value

Eine sehr kurze Antwort: Das REML ist ein ML, der auf REML basierende Test ist also trotzdem korrekt. Da die Schätzung der Varianzparameter mit REML besser ist, ist es natürlich, diese zu verwenden.

Warum ist REML eine ML? Betrachten wir zum Beispiel ein Modell mit X ∈ R n × p , Z ∈ R n x q und β ∈ R p der Vektor der feststehenden Effekte, u ~ N ( 0 , τ I q ) ist der Vektor von Zufallseffekten und e ~ N ( 0 , σ 2 I

$$Y = X\beta + Zu + e \def\R{\mathbb{R}}$$ $X\in\R^{n\times p}$$Z\in\R^{n\times q}$$\beta \in \R^p$$u \sim \mathcal N(0, \tau I_q)$$e \sim \mathcal N(0, \sigma^2 I_n)$. Die eingeschränkte Wahrscheinlichkeit kann erhalten werden, indem Kontraste berücksichtigt werden , um die festen Effekte "zu entfernen". Genauer gesagt sei C ∈ R ( n - p ) × n , so dass C X = 0 und C C ' = I n - p (d. H. Die Spalten von C ' sind eine orthonormale Basis des Vektorraums orthognal zu Raum, der durch die Spalten von X ) erzeugt wird; dann ist C Y = C Z u $n-p$$C \in \R^{(n-p)\times n}$$CX = 0$$CC' = I_{n-p}$$C'$$X$ $$CY = CZ u + \epsilon$$ mit und der Wahrscheinlichkeit für τ ist σ 2 bei C Y die eingeschränkte Wahrscheinlichkeit .$\epsilon \sim \mathcal N(0, \sigma^2 I_{n-p})$$\tau, \sigma^2$$CY$

Likelihood-Ratio-Tests sind statistische Hypothesentests, die auf einem Verhältnis von zwei Wahrscheinlichkeiten basieren. Ihre Eigenschaften sind mit der Maximum Likelihood Estimation (MLE) verknüpft. (siehe zB Maximum Likelihood Estimation (MLE) in Laienbegriffen ).

In Ihrem Fall (siehe Frage) möchten Sie zwischen zwei verschachtelten var-covar-Modellen wählen. Nehmen wir an, Sie möchten zwischen einem Modell mit dem var-covar-Wert und einem Modell mit dem var-covar-Wert Σ wählen s wobei das zweite (einfaches Modell) ein Sonderfall des ersten (allgemeines Modell) ist. $\Sigma_g$$\Sigma_s$

Der Test basiert auf der Likelihood - Verhältnis . Wo Σ s und Σ$LR=-2 (log(\mathcal{L}_s(\hat{\Sigma}_s)) - log(\mathcal{L}_g(\hat{\Sigma}_g) )$$\hat{\Sigma}_s$$\hat{\Sigma}_g$ sind die Maximum-Likelihood-Schätzer.

Die Statistik ist asymptotisch (!) Χ $LR$ $\chi^2$ .

Maximum-Likelihood-Schätzer sind bekanntermaßen konsistent, in vielen Fällen jedoch voreingenommen. Dies ist der Fall für den MLE Schätzer für die und Σ g , kann es zeigen, dass sie vorgespannt sind. Dies liegt daran, dass sie mit einem Mittelwert berechnet werden, der aus den Daten abgeleitet wurde, sodass die Streuung um diesen 'geschätzten Durchschnitt' kleiner ist als die Streuung um den wahren Mittelwert (siehe z. B. intuitive Erklärung zur Division durch n - 1 bei der Berechnung der Standardabweichung) ? )$\hat{\Sigma}_s$$\hat{\Sigma}_g$$n-1$

$LR$$\chi^2$$\hat{\Sigma}_s$$\hat{\Sigma}_g$

$\hat{\Sigma}_s$$\hat{\Sigma}_g$$LR$$\chi^2$$\Sigma_s$$\Sigma_g$$LR$$\chi^2$

Note that REML should only be used to choose among nested var-covar structures of models with the same mean, for models with different means, the REML is not appropriate, for models with different means one should use ML.

I have an answer that has more to do with common sense than with Statistics. If you take a look at PROC MIXED in SAS, the estimation can be performed with six methods:

http://support.sas.com/documentation/cdl/en/statug/63033/HTML/default/viewer.htm#statug_mixed_sect008.htm

but REML is the default. Why? Apparently, the practical experience showed it has the best performance (e.g., the smallest chance of convergence problems). Therefore, if your goal is achievable with REML, then it makes sense to use REML as opposed to the other five methods.