Wie sollen Mixed-Effects-Modelle verglichen und / oder validiert werden?

Wie werden (lineare) Mischeffektmodelle normalerweise miteinander verglichen? Ich weiß, dass Likelihood-Ratio-Tests verwendet werden können, aber dies funktioniert nicht, wenn ein Modell nicht die richtige Teilmenge des anderen Modells ist.

Ist die Schätzung der Modelle df immer einfach? Anzahl der Fixeffekte + Anzahl der geschätzten Varianzkomponenten? Ignorieren wir die Schätzungen für zufällige Effekte?

Was ist mit der Validierung? Mein erster Gedanke ist die Kreuzvalidierung, aber zufällige Falten funktionieren aufgrund der Struktur der Daten möglicherweise nicht. Ist eine Methodik zum Auslassen eines Themas / Clusters angemessen? Was ist mit einer Beobachtung auslassen?

Mallows Cp kann als Schätzung des Vorhersagefehlers des Modells interpretiert werden. Die Modellauswahl über AIC versucht, den Vorhersagefehler zu minimieren (also sollten Cp und AIC dasselbe Modell auswählen, wenn die Fehler meiner Meinung nach Gauß'sch sind). Bedeutet dies, dass AIC oder Cp verwendet werden können, um ein "optimales" lineares Mischeffektmodell aus einer Sammlung nicht verschachtelter Modelle im Hinblick auf Vorhersagefehler auszuwählen? (vorausgesetzt, sie stimmen mit denselben Daten überein) Wählt BIC immer noch eher das „wahre“ Modell unter den Kandidaten aus?

Ich habe auch den Eindruck, dass wir beim Vergleich von Mischeffektmodellen über AIC oder BIC nur die festen Effekte als 'Parameter' in die Berechnung einbeziehen, nicht die tatsächlichen Modelle df.

Gibt es gute Literatur zu diesen Themen? Lohnt es sich, cAIC oder mAIC zu untersuchen? Haben sie eine spezifische Anwendung außerhalb von AIC?

Das Hauptproblem bei der Modellauswahl in gemischten Modellen besteht darin, die Freiheitsgrade (df) eines Modells wirklich zu definieren. Um df eines gemischten Modells zu berechnen, muss die Anzahl der geschätzten Parameter einschließlich fester und zufälliger Effekte definiert werden. Und das ist nicht einfach. Dieses Papier von Jiming Jiang und anderen (2008) mit dem Titel "Zaunmethoden für gemischte Modellauswahl" könnte in solchen Situationen angewendet werden. Eine neue verwandte Arbeit ist dies ein von Greven, S. & Kneib, T. (2010) mit dem Titel „Auf dem Verhalten von Rande und bedingter AIC in linearen gemischten Modellen“. Hoffe das könnte hilfreich sein.

Eine Möglichkeit zum Vergleichen von Modellen (unabhängig davon, ob sie gemischt sind oder nicht) besteht darin, die Ergebnisse zu zeichnen. Angenommen, Sie haben Modell A und Modell B; daraus die angepassten Werte erstellen und in einem Streudiagramm gegeneinander grafisch darstellen. Wenn die Werte sehr ähnlich sind (basierend auf Ihrer Einschätzung, ob dies der Fall ist), wählen Sie das einfachere Modell. Eine andere Idee ist, die Unterschiede zwischen den angepassten Werten zu finden und diese gegen die unabhängigen Werte grafisch darzustellen. Sie können auch ein Dichtediagramm der Unterschiede erstellen. Im Allgemeinen bin ich ein Befürworter, keine statistischen Tests zum Vergleichen von Modellen zu verwenden (obwohl AIC und seine Varianten sicherlich Vorteile haben), sondern eher ein Urteilsvermögen zu verwenden. Dies hat natürlich den (Nachteil), keine genauen Antworten zu geben.