Wie wird in der Praxis die Kovarianzmatrix für zufällige Effekte in einem Modell mit gemischten Effekten berechnet?

Grundsätzlich frage ich mich, wie unterschiedliche Kovarianzstrukturen erzwungen werden und wie die Werte in diesen Matrizen berechnet werden. Funktionen wie lme () erlauben es uns, die Struktur auszuwählen, die wir möchten, aber ich würde gerne wissen, wie sie geschätzt werden.

Betrachten Sie das lineare Mischeffektmodell .$Y=X\beta+Zu+\epsilon$

Wobei und . Außerdem:≤ d ≤ N ( 0 , R $u \stackrel{d}{\sim} N(0,D)$$\epsilon \stackrel{d}{\sim} N(0,R)$

$Var(Y|X,Z,\beta,u)=R$

$Var(Y|X,\beta)=Z'DZ+R=V$

Der Einfachheit halber nehmen wir .$R=\sigma^2I_n$

Grundsätzlich ist meine Frage: Wie genau wird aus den Daten für die verschiedenen Parametrisierungen geschätzt? Sagen wir, wenn wir annehmen, dass diagonal ist (zufällige Effekte sind unabhängig) oder vollständig parametrisiert ist (falls es mich im Moment mehr interessiert) oder eine der verschiedenen anderen Parametrisierungen? Gibt es einfache Schätzer / Gleichungen für diese? (Das wäre zweifellos iterativ geschätzt.)D $D$$D$$D$

EDIT: Aus dem Buch Variance Components (Searle, Casella, McCulloch 2006) habe ich Folgendes herausgearbeitet:

Wenn ist, werden die Varianzkomponenten wie folgt aktualisiert und berechnet:$D=\sigma^2_uI_q$

$\sigma_u^{2(k+1)} = \frac{\hat{\textbf{u}}^T\hat{\textbf{u}}} {\sigma_u^{2(k)}\text{trace}(\textbf{V}^{-1}\textbf{Z}^T\textbf{Z})}$

$\sigma_e^{2(k+1)} = Y'(Y-X{\hat{\beta}}^{(k)}-{Z}\hat{{u}}^{(k)})/n$

Wobei und die ten Aktualisierungen sind. u (k)$\hat{\beta}^{(k)}$$\hat{{u}}^{(k)}$$k$

Gibt es allgemeine Formeln, wenn blockdiagonal oder vollständig parametriert ist? Ich vermute, dass im vollständig parametrisierten Fall eine Cholesky-Zerlegung verwendet wird, um eine positive Bestimmtheit und Symmetrie sicherzustellen.$D$

Das mit Goldstein .pdf @probabilityislogic verknüpfte Dokument ist ein großartiges Dokument. Hier ist eine Liste einiger Referenzen, die Ihre spezielle Frage behandeln:

Harville, 1976: Erweiterung des Gauß-Markov-Theorems um die Abschätzung zufälliger Effekte .

Harville, 1977: Maximum-Likelihood-Ansätze zur Varianzkomponentenschätzung und zu verwandten Problemen .

Laird und Ware, 1982: Random-Effects-Modelle für longitudinale Daten .

McCulloch, 1997: Maximum-Likelihood-Algorithmen für verallgemeinerte lineare gemischte Modelle .

Der SAS-Benutzerhandbuch-Auszug für das MIXED-Verfahren enthält einige nützliche Informationen zur Kovarianzschätzung und viele weitere Quellen (ab Seite 3968).

Es gibt zahlreiche Qualitätslehrbücher zur Datenanalyse von Längs- / Wiederholungsmessungen, aber hier ist eines, das einige Details zur Implementierung in R enthält (von den Autoren von lme4und nlme):

Pinheiro und Bates, 2000: Mixed-Effects-Modelle in S und S-PLUS .

EDIT : Eine weitere relevante Veröffentlichung: Lindstrom und Bates, 1988: Newton-Raphson- und EM-Algorithmen für lineare Mischeffektmodelle für Messwiederholungsdaten .

EDIT 2 : Und noch eines: Jennrich und Schluchter, 1986: Unausgeglichene Messwiederholungsmodelle mit strukturierten Kovarianzmatrizen .

Harvey Goldstein ist kein schlechter Ausgangspunkt.

Wie bei den meisten komplexen Schätzmethoden variiert sie mit dem Softwarepaket. Oftmals werden jedoch die folgenden Schritte ausgeführt:

1. Wählen Sie einen Anfangswert für (sagen Sie ) und (sagen Sie ). SetzeD 0 R R 0 i = $D$$D_0$$R$$R_0$$i=1$
2. Bedingt durch und , Schätzung von und und . Nennen Sie die Schätzungen und und . R = R i - 1 β u ε β i u i ε $D=D_{i-1}$$R=R_{i-1}$$\beta$$u$$\epsilon$$\beta_i$$u_i$$\epsilon_i$
3. Conditional auf und und , schätzen und . Nennen Sie die Schätzungen und u = u i ϵ = ϵ i D R D i R $\beta=\beta_i$$u=u_i$$\epsilon=\epsilon_i$$D$$R$$D_i$$R_i$
4. Überprüfen Sie die Konvergenz. Wenn nicht konvergiert, setze und kehre zu Schritt 2 zurück$i=i+1$

Eine einfache und schnelle Methode ist IGLS, die auf der Iteration zwischen zwei Verfahren der kleinsten Quadrate basiert und in Kapitel 2 ausführlich beschrieben wird. Nachteil ist, dass es für Varianzkomponenten nahe Null nicht gut funktioniert.

Der folgende Artikel enthält eine Lösung in geschlossener Form für D:

• J. Shao, Mari Palta & Roger Qu, (1998), " Least-Squares-Schätzung von Regressionsparametern in Mixed-Effects-Modellen mit nicht gemessenen Kovariaten ", Communications in Statistics - Theory and Methods , 27: 6, 1487-1501, DOI: 10.1080 / 03610929808832172

zwei weitere Referenzen, die nützlich sein könnten Varianzkomponenten von Searle et al. und Lynch and Walsh Genetics and Analysis of Quantitative Traits . Das Lynch- und Walsh-Buch gibt einen schrittweisen Algorithmus, wenn ich mich recht entsinne