Wie können Sie feststellen, welche Studie die bessere ist, wenn Sie widersprüchliche Ergebnisse erhalten?

In der Presse stößt man so oft auf verschiedene Studien, die zu direkt entgegengesetzten Ergebnissen führen. Diese können mit dem Testen eines neuen verschreibungspflichtigen Arzneimittels oder dem Verdienst eines bestimmten Nährstoffs oder irgendetwas anderem in dieser Angelegenheit zusammenhängen.

Wenn zwei solcher Studien zu widersprüchlichen Ergebnissen führen, wie können Sie dann feststellen, welche der beiden der Wahrheit am nächsten kommt?

Ich denke, Jeromys Antwort ist ausreichend, wenn Sie zwei experimentelle Studien oder eine tatsächliche Metaanalyse untersuchen. Oft stehen wir jedoch vor der Prüfung zweier nicht experimenteller Studien und haben die Aufgabe, die Gültigkeit dieser beiden unterschiedlichen Ergebnisse zu bewerten.

Wie Cyrus 'Einkaufsliste mit Fragen nahe legt, kann das Thema selbst nicht kurz beantwortet werden , und ganze Bücher zielen im Wesentlichen darauf ab, eine solche Frage zu beantworten. Für alle, die an der Erforschung nicht experimenteller Daten interessiert sind, würde ich Ihnen dringend empfehlen, diese zu lesen

Experimentelle und quasi-experimentelle Entwürfe für verallgemeinerte kausale Folgerungen von William R. Shadish, Thomas D. Cook und Donald Thomas Campbell (auch ich habe gehört, dass die älteren Versionen dieses Textes genauso gut sind).

Mehrere Punkte, auf die sich Jeromy bezog (größere Stichproben und größere methodische Genauigkeit), und alles, was Cyrus erwähnt, würde als das angesehen, was Campbell und Cook als "interne Gültigkeit" bezeichnen. Dazu gehören Aspekte des Forschungsdesigns und der statistischen Methoden zur Bewertung der Beziehung zwischen X und Y. Insbesondere als Kritiker sind wir besorgt über Aspekte, die die Ergebnisse verzerren und die Zuverlässigkeit der Ergebnisse beeinträchtigen könnten. Da dies ein Forum ist, das sich der statistischen Analyse widmet, konzentrieren sich viele der Antworten auf statistische Methoden, um unvoreingenommene Schätzungen der von Ihnen bewerteten Beziehung sicherzustellen. Es gibt jedoch auch andere Aspekte des Forschungsdesigns, die nichts mit der statistischen Analyse zu tun haben und die die Gültigkeit der Ergebnisse beeinträchtigen, unabhängig davon, wie streng die statistische Analyse ist (wie Cyrus 'Erwähnung mehrerer Aspekte der Versuchstreue angesprochen, aber nicht gelöst werden kann) statistische Methoden und deren Auftreten beeinträchtigen immer die Gültigkeit der Studienergebnisse. Es gibt viele andere Aspekte der internen Validität, die für den Vergleich der Ergebnisse nicht experimenteller Studien, die hier nicht erwähnt werden, von entscheidender Bedeutung sind, sowie Aspekte von Forschungsdesigns, die die Zuverlässigkeit der Ergebnisse unterscheiden können. Ich halte es nicht für angebracht, hier zu sehr ins Detail zu gehen.

Campbell und Cook verweisen auch auf die "externe Validität" von Studien. Dieser Aspekt des Forschungsdesigns ist oft viel kleiner und verdient nicht so viel Aufmerksamkeit wie die interne Validität. Die externe Validität befasst sich im Wesentlichen mit der Generalisierbarkeit der Ergebnisse, und ich würde sagen, dass Laien die externe Validität oft angemessen beurteilen können, solange sie mit dem Thema vertraut sind. Lange Rede, kurzer Sinn, lesen Sie das Buch von Shadish, Cook und Campbell.

Die Metaanalyse- Literatur ist für Ihre Frage relevant. Mithilfe von Metaanalysetechniken können Sie eine Schätzung der Wirkung von Interesse erstellen, die über Studien hinweg zusammengefasst ist. Solche Techniken gewichten häufig Studien hinsichtlich ihrer Stichprobengröße.

Im Kontext der Metaanalyse sprechen die Forscher über Modelle mit festen und zufälligen Effekten (siehe Hunter und Schmidt, 2002 ). Ein Modell mit festem Effekt geht davon aus, dass alle Studien den gleichen Populationseffekt schätzen. Ein Zufallseffektmodell geht davon aus, dass sich Studien in dem geschätzten Bevölkerungseffekt unterscheiden. Ein Zufallseffektmodell ist normalerweise besser geeignet.

Je mehr Studien sich mit einer bestimmten Beziehung befassen, desto ausgefeilter werden Ansätze. Beispielsweise können Sie Studien anhand verschiedener Eigenschaften wie der wahrgenommenen Qualität codieren und dann empirisch untersuchen, ob die Effektgröße mit diesen Studienmerkmalen variiert. Über die Qualität hinaus kann es einige theoretisch relevante Unterschiede zwischen den Studien geben, die die Beziehung abschwächen würden (z. B. Charakteristik der Probe, Dosierungsniveaus usw.).

Im Allgemeinen vertraue ich Studien eher mit:

• größere Stichproben
• größere methodische Genauigkeit
• eine bestätigende Orientierung (z. B. keine Studie, in der Korrelationen zwischen 100 verschiedenen Nährstoffen und 50 Gesundheitsergebnissen getestet wurden)
• Fehlen eines Interessenkonflikts (z. B. nicht von einem Unternehmen mit kommerziellem Interesse an der Darstellung einer Beziehung; nicht von einem Forscher, der einen Anreiz hat, ein signifikantes Ergebnis zu erzielen)

Das heißt, Sie müssen zufällige Stichproben und theoretisch bedeutsame Unterschiede zwischen den Studien als plausible Erklärung für widersprüchliche Studienergebnisse aufbewahren.

Ich würde mich mit der Prüfung der Metaanalyse zurückhalten, bis Sie die Quellen auf mögliche Verzerrungen oder Variationen in den Zielpopulationen untersucht haben. Wenn es sich um Studien zu Behandlungseffekten handelt, wurde die Behandlung zufällig vergeben? Gab es Abweichungen vom Protokoll? Gab es eine Nichteinhaltung? Fehlen Ergebnisdaten? Wurden die Proben aus demselben Rahmen gezogen? Gab es eine Verweigerung der Teilnahme? Implementierungsfehler? Wurden Standardfehler korrekt berechnet, unter Berücksichtigung von Clustering und robust gegenüber verschiedenen parametrischen Annahmen? Erst nachdem Sie diese Fragen beantwortet haben, tauchen meiner Meinung nach Probleme mit der Metaanalyse auf. Es muss selten vorkommen, dass für zwei Studien eine Metaanalyse angemessen ist, es sei denn, Sie sind bereit, einzelne heroische Annahmen zu treffen.