Berechnen Sie zufällige Effektvorhersagen manuell für ein lineares gemischtes Modell

Ich versuche, die Zufallseffektvorhersagen aus einem linearen gemischten Modell von Hand zu berechnen, und unter Verwendung der von Wood in Generalized Additive Models bereitgestellten Notation : eine Einführung mit R (S. 294 / S. 307 von PDF), bin ich verwirrt über die einzelnen Parameter repräsentiert.

Unten finden Sie eine Zusammenfassung von Wood.

Definieren Sie ein lineares gemischtes Modell

Y = X β + Z b + ϵ

$Y = X\beta + Zb + \epsilon$

wobei b N (0, ) und N (0, ) $\sim$ $\psi$ $\epsilon \sim$ $\sigma^{2}$

Wenn b und y Zufallsvariablen mit gemeinsamer Normalverteilung sind

\begin{aligned} [\begin{matrix} b \\ y \end{matrix}] & \sim N [\begin{matrix} [\begin{matrix} 0 \\ X β \end{matrix}], & [\begin{matrix} ψ & Σ_{b y} \\ Σ_{y b} & Σ_{θ} σ^{2} \end{matrix}] \end{matrix}] \end{aligned}

$\begin{align*} \begin{bmatrix} b\\ y \end{bmatrix} &\sim N \begin{bmatrix} \begin{bmatrix} 0\\ X\beta \end{bmatrix}\!\!,& \begin{bmatrix} \psi & \Sigma_{by} \\ \Sigma_{yb}& \Sigma_{\theta}\sigma^{2} \end{bmatrix} \end{bmatrix}\\ \end{align*}$

Die RE-Vorhersagen werden von berechnet

\begin{aligned} E [b ∣ y] & = Σ_{b y} Σ_{y y}^{- 1} (y - x β) \\ = Σ_{b y} Σ_{θ}^{- 1} (y - x β) / σ^{2} \\ = ψ z^{T} Σ_{θ}^{- 1} (y - x β) / σ^{2} \end{aligned}

$\begin{align*} E[b \mid y] &= \Sigma_{by} \Sigma_{yy}^{-1} (y - x\beta)\\ &= \Sigma_{by}\Sigma_{\theta}^{-1}(y - x \beta) / \sigma^{2}\\ &= \psi z^{T}\Sigma_{\theta}^{-1} (y - x \beta) / \sigma^{2} \end{align*}$

wobei $\Sigma_{\theta} = Z\psi Z^{T} /\sigma^{2} + I_{n}$

Anhand eines zufälligen Intercept-Modellbeispiels aus dem lme4R-Paket erhalte ich eine Ausgabe

library(lme4)
m = lmer(angle ~ temp + (1 | replicate), data=cake)
summary(m)

% Linear mixed model fit by REML ['lmerMod']
% Formula: angle ~ temp + (1 | replicate)
%    Data: cake
% 
% REML criterion at convergence: 1671.7
% 
% Scaled residuals: 
%      Min       1Q   Median       3Q      Max 
% -2.83605 -0.56741 -0.02306  0.54519  2.95841 
% 
% Random effects:
%  Groups    Name        Variance Std.Dev.
%  replicate (Intercept) 39.19    6.260   
%  Residual              23.51    4.849   
% Number of obs: 270, groups:  replicate, 15
% 
% Fixed effects:
%             Estimate Std. Error t value
% (Intercept)  0.51587    3.82650   0.135
% temp         0.15803    0.01728   9.146
% 
% Correlation of Fixed Effects:
%      (Intr)
% temp -0.903

Daher denke ich, dass = 23,51 aus und aus dem Quadrat der Residuen auf Bevölkerungsebene geschätzt werden kann . $\psi$ $(y-X\beta)$ cake$angle - predict(m, re.form=NA)sigma

th = 23.51
zt = getME(m, "Zt") 
res = cake$angle - predict(m, re.form=NA)
sig = sum(res^2) / (length(res)-1)

Multiplizieren Sie diese zusammen

th * zt %*% res / sig
         [,1]
1  103.524878
2   94.532914
3   33.934892
4    8.131864
---

was im Vergleich zu nicht korrekt ist

> ranef(m)
$replicate
   (Intercept)
1   14.2365633
2   13.0000038
3    4.6666680
4    1.1182799
---

Warum?

mixed-model lme4-nlme

— user2957945
quelle

Zwei Probleme (ich gestehe, ich habe ungefähr 40 Minuten gebraucht, um das zweite zu erkennen):

Sie dürfen mit dem Quadrat der Residuen berechnen , es wird von REML als geschätzt , und es gibt keine Garantie dafür, dass die BLUPs dieselbe Varianz haben. $\sigma^2$ 23.51
```
sig <- 23.51
```
Und das ist nicht ! Welches wird geschätzt als $\psi$ 39.19
```
psi <- 39.19
```
Die Residuen werden nicht mit, cake$angle - predict(m, re.form=NA)sondern mit erhalten residuals(m).

Etwas zusammensetzen:

> psi/sig * zt %*% residuals(m)
15 x 1 Matrix of class "dgeMatrix"
         [,1]
1  14.2388572
2  13.0020985
3   4.6674200
4   1.1184601
5   0.2581062
6  -3.2908537
7  -4.6351567
8  -4.5813846
9  -4.6351567
10 -3.1833095
11 -2.1616392
12 -1.1399689
13 -0.2258429
14 -4.0974355
15 -5.3341942

das ist ähnlich wie ranef(m).

Ich verstehe wirklich nicht, was predictberechnet wird.

PS. Um Ihre letzte Bemerkung zu beantworten, ist der Punkt, dass wir die "Residuen" , um den Vektor wobei . Diese Matrix wird während des REML-Algorithmus berechnet. Es ist verwandt mit den BLUPs zufälliger Terme durch und $\hat\epsilon$ $PY$ $P = V^{-1} - V^{-1} X \left(X' V^{-1} X\right)^{-1} X' V^{-1}$

\hat{ϵ} = σ^{2} P Y

$\hat\epsilon = \sigma^2 PY$

\hat{b} = ψ Z^{t} P Y .

$\hat b = \psi Z^t PY.$

Also . $\hat b = \psi / \sigma^2 Z^t \hat\epsilon$

— Elvis
quelle

Danke Elvis. Ich kämpfe ein bisschen darum, die Werte, die Sie verwendet haben, wieder an die obigen Gleichungen anzupassen, aber es scheint, dass es viele Möglichkeiten gibt, eine Katze zu häuten. Die Residuen finde ich etwas überraschend, da ich dachte, es soll (fester Effekt), während Residuen anhand der zufälligen Effekte berechnet werden. (siehe den Unterschied zwischen ).

y - x β

$y-x\beta$ plot(residuals(m), cake$angle-predict(m, re.form=NULL)) ; plot(residuals(m), cake$angle-predict(m, re.form=NA))

— user2957945

Ein Weg, der den festen Effekt und die dritte Version des E [b | y] oben verwendet :

z = getME(m, "Z")  ; big_sig = solve(((z * psi) %*% zt ) / sig + diag(270)) ;  psi/sig * zt %*% big_sig %*% (cake$angle-predict(m, re.form=NA))

. Vielen Dank für den Hinweis auf die richtigen Artikel.

— user2957945

Ein letztes Q, wenn ich darf, kann ich entweder oder direkt von der Ausgabe erhalten?

Σ_{b y}

$\Sigma_{by}$

Σ_{y y}

$\Sigma_{yy}$

— user2957945

Ist gleich ?

Σ_{y b}

$\Sigma_{yb}$

ψ Z

$\psi Z$

— Elvis

Elvis, ich hatte noch einen kleinen Gedanken darüber (ich weiß, dass ich langsam bin). Ich denke, die Verwendung dieser Residuen ist nicht wirklich sinnvoll, da sie die vorhergesagten Werte (und damit Residuen) auf RE-Ebene zur Berechnung verwenden. Wir verwenden sie also auf beiden Seiten Ihrer Gleichung. (so verwendet es die RE-Vorhersagen (E [b | y]), um die Vorhersagen von Residuen zu machen, obwohl dies die Begriffe sind, die wir vorhersagen wollen))

— user2957945