Hintergrund:
Eine typische Metaanalyse in der Psychologie könnte versuchen, die Korrelation zwischen zwei Variablen X und Y zu modellieren. Die Analyse würde typischerweise das Erhalten einer Reihe relevanter Korrelationen aus der Literatur zusammen mit Stichprobengrößen beinhalten. Formeln können dann angewendet werden, um eine gewichtete Durchschnittskorrelation zu berechnen. Anschließend können Analysen durchgeführt werden, um festzustellen, ob die Korrelationen zwischen den Studien um mehr variieren, als dies durch bloße Auswirkungen von Zufallsstichproben impliziert würde.
Darüber hinaus können Analysen wesentlich komplexer gestaltet werden. Schätzungen können hinsichtlich Zuverlässigkeit, Bereichsbeschränkung und mehr angepasst werden. Korrelationen können in Kombination verwendet werden, um die Modellierung von Metastrukturgleichungen oder die Regression von Metas usw. zu untersuchen.
Alle diese Analysen werden jedoch unter Verwendung von zusammenfassenden Statistiken (z. B. Korrelationen, Quotenverhältnisse, standardisierte mittlere Differenzen) als Eingabedaten durchgeführt. Dies erfordert die Verwendung spezieller Formeln und Verfahren, die zusammenfassende Statistiken akzeptieren.
Alternativer Ansatz zur Metaanalyse
Daher habe ich über einen alternativen Ansatz zur Metaanalyse nachgedacht, bei dem Rohdaten als Eingabe verwendet werden. Das heißt, für eine Korrelation wären die Eingabedaten die Rohdaten, die zur Bildung der Korrelation verwendet werden. Offensichtlich sind in den meisten Metaanalysen mehrere, wenn nicht die meisten tatsächlichen Rohdaten nicht verfügbar. Ein grundlegendes Verfahren könnte also folgendermaßen aussehen:
- Wenden Sie sich an alle veröffentlichten Autoren, die nach Rohdaten suchen, und verwenden Sie, falls angegeben, die tatsächlichen Rohdaten .
- Simulieren Sie für Autoren, die keine Rohdaten bereitstellen, Rohdaten so, dass sie identische zusammenfassende Statistiken wie die gemeldeten enthalten. Solche Simulationen könnten auch jegliches Wissen beinhalten, das aus den Rohdaten gewonnen wurde (z. B. wenn bekannt ist, dass eine Variable verzerrt ist usw.).
Es scheint mir, dass ein solcher Ansatz mehrere Vorteile haben könnte:
- Für Analysen können statistische Tools verwendet werden, die Rohdaten als Eingabe verwenden
- Wenn Autoren von Metaanalysen zumindest einige tatsächliche Rohdaten erhalten, wären sie gezwungen, Probleme im Zusammenhang mit den tatsächlichen Daten (z. B. Ausreißer, Verteilungen usw.) zu berücksichtigen.
Frage
- Gibt es Probleme bei der Durchführung von Metaanalyse-Studien mit einer Kombination aus echten Rohdaten und Daten, die so simuliert wurden, dass sie identische zusammenfassende Statistiken wie vorhandene veröffentlichte Studien aufweisen?
- Wäre ein solcher Ansatz den bestehenden Methoden zur Durchführung von Metaanalysen für zusammenfassende Statistiken überlegen?
- Gibt es Literatur, die diesen Ansatz diskutiert, befürwortet oder kritisiert?