Bedeutung von geringer Leistung in den Neurowissenschaften nach Kombination der Ergebnisse vieler Metaanalysen (Button et al. 2013)

In einem Übersichtsartikel aus dem Jahr 2013 in Nature Neuroscience haben Button et al. Stromausfall: Warum eine kleine Stichprobengröße die Zuverlässigkeit der Neurowissenschaften untergräbt , wurde festgestellt, dass:

Die durchschnittliche statistische Aussagekraft von Studien in den Neurowissenschaften ist sehr gering

Sie suchten nach Metaanalysen, berechneten die Post-hoc-Leistung in jeder von ihnen und kombinierten die Ergebnisse, indem sie die mittlere Post-hoc-Leistung nahmen. Der Median betrug 20%. Ich verstehe es einfach nicht. Post-hoc-Leistung ist immer inhärent mit den erreichten p-Werten verbunden. Ist es nicht dasselbe wie zu schreiben, dass der mittlere p-Wert so etwas wie ~ 0,3 war, was der Post-hoc-Leistung von 20% entspricht?

Wie untergräbt dieses Ergebnis die Qualität der neurowissenschaftlichen Forschung? Es scheint, dass sie Studien mit vielen nicht signifikanten p-Werten veröffentlicht haben.

Diese Rezension ist eine Studie der Naturneurowissenschaften mit sehr berühmten Autoren, daher denke ich, dass meine Interpretation eher fehlerhaft ist.

EDIT: Ich würde irgendwann sehen, wenn sie nur Studien mit nominaler Bedeutung enthalten würden. In diesem Fall würde die mittlere Leistung die mittlere Replikationswahrscheinlichkeit signifikanter Befunde angeben.

— Arkiaamu
quelle

Post-hoc-Macht ist sinnlos und irreführend. Siehe Hoenig & Heisey (2001, The American Statistician ) . "Es ist eine Naturstudie mit sehr berühmten Autoren, daher denke ich, dass meine Interpretation eher fehlerhaft ist." - Das ist eine falsche Schlussfolgerung. Natur- , Wissenschafts- und ähnliche Zeitschriften wählen überraschende Ergebnisse aus, nicht gültige Statistiken. Leider wissen die Rezensenten hier normalerweise nicht mehr Statistiken als in Zeitschriften mit niedrigerem Rang.

— Stephan Kolassa

Ich stimme zu, dass die Post-hoc-Leistungsanalyse einer einzelnen Studie sinnlos und irreführend ist. Ich halte es jedoch für sinnvoll, eine Aussage über das typische Leistungsniveau eines Forschungsbereichs zu treffen, da dies nicht an die Ergebnisse einer bestimmten Studie auf interpretativer Ebene gebunden ist. Die Annahmen dazu können jedoch fraglich sein, wenn die Metaanalyse heterogene Ergebnisse hatte, wie dies häufig der Fall ist.

— dbwilson

@StephanKolassa Ich bin damit einverstanden, dass in Nature oder Science Junk veröffentlicht werden kann, aber ich finde Ihren Kommentar etwas wenig hilfreich, es sei denn, Sie sind mit dieser speziellen Studie vertraut. IMHO ist es in der Tat ein gutes Papier, und sie machen keine Post-hoc-Macht, so dass das Verständnis von OP in der Tat fehlerhaft ist. Die Antwort von dbwilson scheint dies richtig zu erklären (+1).

— Amöbe

Es scheint, dass niedrige Werte von p als nicht signifikant falsch interpretiert werden. Daher ist es schwierig, die Frage zu beantworten. Weitere Verwirrung wird durch die Einführung der Idee des Medians in dieser Perspektive verursacht. Die Frage kann durch die Definition bestimmter Konzepte verbessert werden.

— Subhash C. Davar

Ich bin mit dieser speziellen Studie nicht vertraut, aber mit der Abschätzung der Leistungsfähigkeit eines Forschungsbereichs mithilfe einer Metaanalyse. Ihre Aussage, dass "Post-hoc-Leistung immer inhärent mit den erreichten p-Werten verbunden ist", legt für mich nahe, dass Sie davon ausgehen, dass die Post-hoc-Leistung für jede einzelne Studie, die zu einer einzelnen Metaanalyse beiträgt, auf der Annahme basiert, dass der beobachtete Effekt entspricht dem wahren Bevölkerungseffekt. Nur mit dieser Annahme wird die Post-Hoc-Leistung mit dem p-Wert in Beziehung gesetzt (ich persönlich finde diese Form der Post-Hoc-Leistungsanalyse sinnlos, aber das ist ein bisschen unangebracht).

Ich glaube, dass die Autoren dieses Papiers angesichts der typischen Vorgehensweise davon ausgehen, dass der metaanalytische Mittelwert der wahre Bevölkerungseffekt ist, und die Leistung der Studien, die zu diesem Mittelwert beitragen, anhand dieses Werts abschätzen die beobachtete Wirkung jeder Studie. Somit ist die mittlere Leistung innerhalb einer Metaanalyse eine Funktion des gesamten metaanalytischen mittleren Effekts und der Stichprobengrößen (oder Standardfehler) der einzelnen Studien. Sie haben dies für jede Metaanalyse durchgeführt und die Medianleistung über sie berechnet.

— dbwilson
quelle

Aus Neugier habe ich das Papier überflogen und sie verwenden G * Power , dessen Autoren "retrospektive Power" -Analysen ausdrücklich ablehnen . (Zumindest in dem von Faul et al. 2007 verlinkten

— Artikel

+1. Ich kenne den Button et al. 2013 Papier, verwendet es im Unterricht, und ich glaube, das ist die richtige Antwort. Cc zu @ GeoMatt22. Wenn Sie eine Studie mit n = 10 und eine andere mit n = 1000 haben und die große Studie zeigt, dass der Effekt sehr gering ist, ist es völlig in Ordnung, eine "Metaanalyse" durchzuführen. Schließen Sie daraus, dass der wahre Effekt wahrscheinlich gering ist ( basierend auf der großen Studie) und schließen weiter, dass die kleine Studie eine sehr geringe Leistung gehabt haben muss - selbst wenn sie einen signifikanten p-Wert und eine große Effektgröße gemeldet hat. Ich weiß nicht, warum das jemand ablehnen würde.

— Amöbe

@amoeba Ich bin mit diesem Bereich nicht vertraut und hoffe, dass mein Kommentar nicht falsch rüberkam: Er sollte den ersten Absatz der Antwort unterstützen, dh die von den Autoren verwendete Software unterstützt die Post-hoc-Analyse, nicht jedoch die retrospektive Analyse. Und was OP als " post hoc " bezeichnet, kann eher als " retrospektiv " bezeichnet werden. (Aber auch hier bin ich nicht mit dem Feld vertraut.)

— GeoMatt22