Zerrissen zwischen PET-PEESE und mehrstufigen Ansätzen zur Metaanalyse: Gibt es ein glückliches Medium?

Ich arbeite derzeit an einer Metaanalyse, für die ich mehrere in Stichproben verschachtelte Effektgrößen analysieren muss. Ich bin Teil von Cheungs (2014) dreistufigem Metaanalyse-Ansatz zur Metaanalyse abhängiger Effektgrößen im Gegensatz zu einigen anderen möglichen Strategien (z. B. Ignorieren von Abhängigkeiten, Mitteln von Effektgrößen innerhalb von Studien, Auswählen einer Effektgröße oder Verschiebung der Analyseeinheit). Bei vielen meiner abhängigen Effektgrößen handelt es sich um Korrelationen, bei denen es sich um ziemlich unterschiedliche (aber aktuell verwandte) Variablen handelt. Eine Mittelwertbildung über diese Variablen ist daher konzeptionell nicht sinnvoll, und selbst wenn dies der Fall wäre, würde sich meine Anzahl der zu analysierenden Gesamteffektgrößen um fast die Hälfte verringern.

Gleichzeitig bin ich jedoch auch daran interessiert, die Methode von Stanley & Doucouliagos (2014) zur Behandlung von Publikationsverzerrungen bei der Abschätzung eines metaanalytischen Effekts zu verwenden. Kurz gesagt, man passt entweder ein Meta-Regressionsmodell an, das die Größen der Studieneffekte anhand ihrer jeweiligen Varianzen (Präzisionseffekttest oder PET) oder ihrer jeweiligen Standardfehler (Präzisionseffektschätzung mit Standardfehlern oder PEESE) vorhersagt. Abhängig von der Bedeutung des Abschnitts im PET-Modell wird entweder der Abschnitt aus dem PET-Modell (wenn der PET-Abschnitt p > 0,05 ist) oder das PEESE-Modell (wenn der PET-Abschnitt p <0,05) als geschätzte Veröffentlichung verwendet. vorspannungsfreie mittlere Effektgröße.

Mein Problem ergibt sich jedoch aus diesem Auszug von Stanley & Doucouliagos (2014):

In unseren Simulationen ist immer eine übermäßige ungeklärte Heterogenität enthalten; Daher sollte nach herkömmlicher Praxis REE (Schätzer für zufällige Effekte) gegenüber FEE (Schätzer für feste Effekte) bevorzugt werden. Die konventionelle Praxis ist jedoch falsch, wenn Veröffentlichungen ausgewählt werden. Bei der Auswahl nach statistischer Signifikanz ist REE immer voreingenommener als FEE (Tabelle 3). Diese vorhersehbare Minderwertigkeit ist auf die Tatsache zurückzuführen, dass REE selbst ein gewichteter Durchschnitt des einfachen Mittelwerts mit der größten Publikationsverzerrung und der FEE ist.

Diese Passage lässt mich glauben, dass ich PET-PEESE nicht in metaanalytischen Modellen mit zufälligen Effekten / gemischten Effekten verwenden sollte, aber ein mehrstufiges metaanalytisches Modell scheint einen Schätzer für zufällige Effekte zu erfordern.

Ich bin hin und her gerissen, was ich tun soll. Ich möchte in der Lage sein, alle meine abhängigen Effektgrößen zu modellieren, aber gleichzeitig diese spezielle Methode zur Korrektur von Publikationsverzerrungen nutzen. Gibt es für mich eine Möglichkeit, die 3-Ebenen-Metaanalysestrategie legitim in PET-PEESE zu integrieren?

Verweise

Cheung, MWL (2014). Modellierung abhängiger Effektgrößen mit dreistufigen Metaanalysen: Ein Ansatz zur Modellierung von Strukturgleichungen. Psychological Methods , 19 , 211 & ndash; 229.

Stanley, TD & Doucouliagos, H. (2014). Meta-Regressions-Approximationen zur Reduzierung der Publikationsauswahl. Research Synthesis Methods , 5 , 60 & ndash; 78.

Ich habe an einer Metaanalyse gearbeitet, die hauptsächlich dem Cheung-Ansatz (aber nicht den drei Ebenen) folgt, und bin kürzlich auf den PET-PEESE-Ansatz gestoßen, um die Publikationsverzerrung zu korrigieren. Ich war auch fasziniert von Kombinationen der beiden Ansätze. Soweit meine Erfahrung. Ich denke, es gibt zwei Möglichkeiten, um Ihr Problem anzugehen. Eine einfache und eine kompliziertere.

Das folgende Zitat scheint darauf hinzudeuten, dass zufällige Effekte die Publikationsverzerrung verschärfen. Wenn Sie also den Verdacht haben, dass die Publikationsverzerrung ein Problem darstellt, können Sie nicht einfach ein Zufallseffektmodell verwenden.

Bei der Auswahl nach statistischer Signifikanz ist REE immer voreingenommener als FEE (Tabelle 3). Diese vorhersehbare Minderwertigkeit ist auf die Tatsache zurückzuführen, dass REE selbst ein gewichteter Durchschnitt des einfachen Mittelwerts mit der größten Publikationsverzerrung und der FEE ist.

Ich gehe davon aus, dass Publikationsbias ein ernstes Problem darstellt.

Einfacher Ansatz: Modellieren Sie die Heterogenität unter PET-PEESE

Wenn ich die Fragen richtig verstanden habe, denke ich, dass dieser Ansatz der pragmatischste Ausgangspunkt ist.

Der PET-PEESE-Ansatz eignet sich für Erweiterungen metaanalytischer Regressionen. Wenn die Quelle der Heterogenität hauptsächlich von den verschiedenen Variablen in den Effektgrößen herrührt, können Sie die Heterogenität als feste Effekte modellieren, indem Sie Indikatorvariablen (1/0) für jede Variable * einbeziehen. Wenn Sie außerdem den Verdacht haben, dass einige Variablen bessere Messeigenschaften haben oder enger mit Ihrem interessierenden Konstrukt zusammenhängen, sollten Sie sich den Hunter- und Schmidt-Stil der Metaanalyse ansehen. Sie schlagen einige Korrekturen für Messfehler vor.

Dieser Ansatz würde Ihnen wahrscheinlich eine erste Vorstellung von der Größe der Publikationsverzerrung über die PET- und PEESE-Abschnitte und von der Heterogenität geben, die auf der Varianz der festen Effekte basiert.

Der kompliziertere Ansatz: Modellheterogenität und Publikationsbias explizit

Ich meine, Sie modellieren das Auftreten von Publikationsbias explizit gemäß dem Papier von Stanley und Doucouliagos. Sie müssen auch die drei Ebenen von Cheung explizit als zufällige Effekte ausschreiben. Mit anderen Worten, dieser Ansatz erfordert, dass Sie die Wahrscheinlichkeit selbst angeben, und wäre wahrscheinlich ein methodischer Beitrag für sich.

Ich denke, es ist möglich, eine solche Wahrscheinlichkeit (mit geeigneten Prioritäten) nach einem hierarchischen Bayes-Ansatz in Stan anzugeben und die hinteren Schätzungen zu verwenden. Das Handbuch enthält einen kurzen Abschnitt zur Metaanalyse. Die Benutzerliste ist auch sehr hilfreich.

Der zweite Ansatz ist wahrscheinlich übertrieben für das, was Sie in dieser Phase wollen, aber er wäre wahrscheinlich korrekter als der erste Ansatz. Und ich würde mich interessieren, ob es funktioniert.

* Wenn Sie viele Variablen (und nicht viele Effektgrößen) haben, ist es möglicherweise besser, ähnliche Variablen in Gruppen zu gruppieren (ja, das ist ein Beurteilungsaufruf) und Gruppenindikatorvariablen zu verwenden.