Intuition zur Parameterschätzung in gemischten Modellen (Varianzparameter vs. bedingte Modi)

Ich habe viele Male gelesen, dass zufällige Effekte (BLUPs / bedingte Modi für beispielsweise Probanden) keine Parameter eines linearen Mischeffektmodells sind, sondern aus den geschätzten Varianz- / Kovarianzparametern abgeleitet werden können. ZB Reinhold Kliegl et al. (2011) Zustand:

Zufällige Effekte sind die Abweichungen der Probanden von der mittleren RT und die Abweichungen der Probanden von den Parametern mit festem Effekt. Es wird angenommen, dass sie unabhängig voneinander und normalverteilt mit einem Mittelwert von 0 sind. Es ist wichtig zu wissen, dass diese zufälligen Effekte keine Parameter des LMM sind - nur ihre Varianzen und Kovarianzen. [...] LMM-Parameter können in Kombination mit den Daten der Probanden verwendet werden, um "Vorhersagen" (bedingte Modi) von zufälligen Effekten für jedes Proband zu generieren.

Kann jemand eine intuitive Erklärung geben, wie die (Co) Varianzparameter der Zufallseffekte geschätzt werden können, ohne die Zufallseffekte tatsächlich zu verwenden / zu schätzen?

mixed-model intuition blup

— statmerkur
quelle

Antworten:

Betrachten Sie ein einfaches lineares Mischmodell, z. B. ein Zufallsschnittmodell, bei dem wir die Abhängigkeit von von in verschiedenen Subjekten schätzen , und nehmen Sie an, dass jedes Subjekt einen eigenen Zufallsschnitt hat: Hier fängt modelliert werden als von einer Gaußschen Verteilung kommenden und zufälliges Rauschen ist auch Gaussian $y$ $x$

y = ein + b x + c_{ich} + ϵ .

$y = a + bx + c_i + \epsilon.$

c_{i}

$c_i$

c_{ich} \sim N (0, τ^{2})

$c_i\sim \mathcal N(0, \tau^2)$

In derSyntax würde dieses Modell geschrieben als.

ϵ \sim N (0, σ^{2}) .

$\epsilon \sim \mathcal N(0, \sigma^2).$ lme4y ~ x + (1|subject)

Es ist aufschlussreich, das oben Gesagte wie folgt umzuschreiben:

\begin{matrix} y ∣ c \sim N (ein + b x + c, σ^{2}) \\ c \sim N (0, τ^{2}) \end{matrix}

$\begin{gather} y \mid c \sim \mathcal N(a + bx + c, \sigma^2) \\ c \sim \mathcal N(0, \tau^2) \end{gather}$

Dies ist eine formalere Methode, um dasselbe Wahrscheinlichkeitsmodell anzugeben. Aus dieser Formulierung können wir direkt ersehen, dass die Zufallseffekte keine "Parameter" sind: Sie sind nicht beobachtete Zufallsvariablen. Wie können wir also die Varianzparameter schätzen, ohne die Werte von ? $c_i$ $c$

$y$ $c$ $c$ $y\mid c$ $y$ $c$

$\mathcal N(a + bx, \sigma^2+\tau^2)$ $n$ $\mathbf y$

y \sim N (ein + b x, Σ)

$\mathbf y \sim \mathcal N(a+b\mathbf x, \boldsymbol\Sigma)$

Σ = σ^{2} I_{n} + τ^{2} I_{N} \otimes 1_{M}

$\boldsymbol\Sigma=\sigma^2 \mathbf I_n + \tau^2 \mathbf I_N \otimes \mathbf 1_M$

σ^{2}

$\sigma^2$

τ^{2}

$\tau^2$

c

$c$

c_{i}

$c_i$

$a$ $b$ $\tau^2$ $\sigma^2$ $c_i$ $i$

— Amöbe sagt Reinstate Monica
quelle

y \sim N (ein + b x, σ^{2} ich)

$\mathbf{y} \sim \mathcal{N}(a + b\mathbf{x}, \sigma^2 I)$

y \sim N (ein + b x, Σ)

$\mathbf{y} \sim \mathcal{N}(a + b\mathbf{x}, \Sigma)$

— Sextus Empiricus

c

$c$

c

$c$

c

$c$

Ich glaube, ich verstehe den Integrationsschritt einfach nicht. Wie @Martijn Weterings ein kleines (R-Code) Beispiel oder eine Referenz hervorhob, die man finden kann, wäre dies großartig!

— statmerkur

Vielen Dank, dass Sie meine Antwort angenommen und mir das Kopfgeld @statmerkur verliehen haben, aber es ist schade, dass es unklar bleibt. Ich werde versuchen, an ein Beispiel zu denken. Ich werde Sie anrufen, wenn ich die Antwort aktualisiere.

— Amöbe sagt Reinstate Monica

@statmerkur In einer Antwort auf diese Frage zeige ich die manuelle Berechnung eines Mixed-Effects-Modells (manuell im Sinne der Likelihood-Funktion, die Optimierung erfolgt weiterhin über eine Standardoptimierungsfunktion in R). stats.stackexchange.com/a/ 337348/164061

— Sextus Empiricus

Sie können Varianz- und Kovarianzparameter leicht abschätzen, ohne sich auf Zufallseffekte zu stützen, indem Sie Festeffekte verwenden (siehe hier für eine Diskussion Festeffekte vs. Zufallseffekte; beachten Sie, dass es unterschiedliche Definitionen dieser Begriffe gibt).

Feste Effekte können einfach abgeleitet werden, indem für jede Gruppe (oder für jeden Zeitraum oder was auch immer Sie als zufällige Effekte verwenden möchten) eine (binäre) Indikatorvariable hinzugefügt wird. Dies entspricht der Innentransformation. Auf diese Weise können Sie die Fixeffekte (die als Parameter betrachtet werden können) einfach abschätzen.

Die Annahme fester Effekte erfordert keine Annahme über die Verteilung der festen Effekte. Sie können die Varianz der festen Effekte leicht abschätzen (obwohl dies extrem rauschbehaftet ist, wenn die Anzahl der Beobachtungen in jeder Gruppe gering ist; sie minimieren sich) die Verzerrung für die Kosten einer viel größeren Varianz im Vergleich zu den Zufallseffekten, weil Sie einen Freiheitsgrad für jede Gruppe verlieren, indem Sie diese Indikatorvariablen hinzufügen). Sie können auch Kovarianzen zwischen verschiedenen Sätzen von Fixeffekten oder zwischen Fixeffekten und anderen Kovariaten schätzen. Das haben wir zum Beispiel in einer Arbeit mit dem Titel " Competitive Balance and Assortative Matching" in der deutschen Bundesliga gemacht, um abzuschätzen, ob bessere Fußballspieler zunehmend für bessere Mannschaften spielen.

Random-Effekte erfordern eine vorherige Annahme über die Kovarianz. In klassischen Zufallseffektmodellen wird davon ausgegangen, dass die Zufallseffekte wie ein Fehler sind und von den anderen Kovariaten unabhängig sind (sodass Sie sie ignorieren und OLS verwenden können, um immer noch konsistente, wenn auch ineffiziente Schätzungen für die anderen Parameter zu erhalten, wenn die Annahmen zutreffen des Zufallseffektmodells gilt).

Weitere technische Informationen finden Sie hier . Andrew Gelman hat in seinem schönen Buch Datenanalyse unter Verwendung von Regression und mehrstufigen / hierarchischen Modellen auch eine viel intuitivere Arbeit dazu

— Arne Jonas Warnke
quelle

Ich beziehe mich auf die (Co-) Varianzparameter der Zufallseffekte (siehe meine Bearbeitung).

— statmerkur

Ich glaube nicht, dass dies die Frage beantwortet.

— Amöbe sagt Reinstate Monica