Kreuzvalidierung für gemischte Modelle?

9

Mein Kollege und ich passen eine Reihe von linearen und nichtlinearen Mischeffektmodellen in R an. Wir werden gebeten, eine Kreuzvalidierung der angepassten Modelle durchzuführen, damit überprüft werden kann, ob die beobachteten Effekte relativ verallgemeinerbar sind. Dies ist normalerweise eine triviale Aufgabe, aber in unserem Fall müssen wir die gesamten Daten in einen Schulungsteil und einen Testteil (für Lebenslaufzwecke) aufteilen, die keine gemeinsamen Ebenen haben. Beispielsweise,

Die Trainingsdaten können auf den Gruppen 1,2,3,4 basieren; Das angepasste Modell wird dann in Gruppe 5 kreuzvalidiert.

Dies schafft also ein Problem, da die auf die Trainingsdaten geschätzten gruppenbasierten Zufallseffekte nicht für die Testdaten gelten. Daher können wir das Modell nicht wieder aufnehmen.

Gibt es dafür eine relativ einfache Lösung? Oder hat schon jemand ein Paket geschrieben, um dieses Problem anzugehen? Jeder Hinweis ist willkommen!

Vielen Dank!

mixed-model cross-validation

— Ting Qian
quelle

2

Bei der Schätzung kleiner Flächen haben Sie das gleiche Problem mit kleinen Flächen außerhalb der Stichprobe. Normalerweise schätzen Sie die zufälligen Effekte außerhalb der Stichprobe auf Null (ihren wahrscheinlichsten Wert - vorausgesetzt, Ihre zufälligen Effekte sind normal verteilt). Tatsächlich verwenden Sie den "synthetischen" oder festen Teil des Modells nur zur Vorhersage.

— Wahrscheinlichkeitslogik

Wahrscheinlichkeitslogik / Ting Qian, ich ringe jetzt mit diesem Problem und möchte sehen, wie Sie Effekte außerhalb der Stichprobe als 0 angegeben haben. Ist es möglich, Ihre Antwort hier zu bearbeiten und den R-Code anzuzeigen? Vielen Dank!

— Pradeep Babu

3

Fang (2011) hat eine asymptotische Äquivalenz zwischen AIC für gemischte Modelle und einer Kreuzvalidierung ohne Cluster gezeigt. Möglicherweise würde dies Ihren Prüfer zufriedenstellen und es Ihnen ermöglichen, AIC einfach als einfacher zu berechnende Annäherung an das zu berechnen, was er angefordert hat?

— Mike Lawrence
quelle

Vielen Dank! Das sieht nützlich aus. Wir haben den BIC bereits berechnet, aber der Prüfer möchte Kreuzvalidierungsergebnisse sehen. ;-) Einige der Datensätze, die wir haben, sind relativ klein. Man kann also argumentieren, dass ein solches asymptotisches Verhalten nicht erwartet wird. Aber ja, wir könnten Fang (2011) sicherlich zitieren, wenn wir die BIC-Ergebnisse präsentieren, da AIC und BIC auch asymptotisch äquivalent sind?

— Ting Qian

2

Ich glaube nicht, dass AIC und BIC asymptotisch gleichwertig sind, da sie versuchen, grundlegend unterschiedliche Fragen zu beantworten. Siehe: stats.stackexchange.com/questions/577/…

— Mike Lawrence

Und hier ist ein detaillierterer Vergleich von AIC & BIC: smr.sagepub.com/cgi/doi/10.1177/0049124103262065

— Mike Lawrence

0

Colby und Bair (2013) hatten einen Kreuzvalidierungsansatz entwickelt, der auf nichtlineare Mischeffektmodelle angewendet werden kann. Sie können diesen Link besuchen , um mehr zu erfahren.

— Api Hounzandji
quelle

1

Willkommen bei Crossvalidated. Bitte fügen Sie Ihrer Antwort weitere Informationen hinzu. Vielleicht können Sie die wichtigsten Teile des Artikels skizzieren.

— Ferdi