Vor- und Nachteile von Metaanalysen

Ich habe darüber nachgedacht, eine Metaanalyse für einen bestimmten Bereich des Evolutionsstudiums durchzuführen, aber bevor ich weiter gehe, würde ich gerne wissen; Was sind die positiven und negativen Aspekte des Prozesses? Zum Beispiel ist keine Notwendigkeit für ein praktisches Experiment ein Vorteil (Zeit und Geld), aber es wird eine Publikationsverzerrung geben (aufregendere Ergebnisse werden veröffentlicht), was ein Nachteil wäre.

Welche Artikel in Statistik-Journalen diskutieren die Vor- und Nachteile der Metaanalyse?

Einführung in die Metaanalyse von Borenstein, Hedges, Higgins und Rothstein bietet eine detaillierte Diskussion der Vor- und Nachteile der Metaanalyse. Siehe zum Beispiel das Kapitel " Kritik der Metaanalyse ", in dem die Autoren auf verschiedene Kritikpunkte der Metaanalyse reagieren. Ich nehme die Abschnittsüberschriften für dieses Kapitel zur Kenntnis und nehme dann einige Beobachtungen aus dem Gedächtnis vor, die sich auf diesen Punkt beziehen:

• "Eine Zahl kann ein Forschungsfeld nicht zusammenfassen": Eine gute Metaanalyse modelliert die Variabilität der tatsächlichen Effektgrößen und modelliert die Unsicherheit von Schätzungen.
• "Das File Drawer-Problem macht die Metaanalyse ungültig": Mit Trichterplots und verwandten Werkzeugen können Sie feststellen, ob die Stichprobengröße mit der Effektgröße zusammenhängt, um die Publikationsverzerrung zu überprüfen. Gute Metaanalysen bemühen sich um unveröffentlichte Studien. Dieses Thema wird mit narrativen Studien geteilt.
• "Mischen von Äpfeln und Orangen": Gute Metaanalysen bieten ein strenges Kodierungssystem, um eingeschlossene Studien zu kategorisieren und das Einbeziehen und Ausschließen von Studien in die Metaanalyse zu rechtfertigen. Nachdem die Studien klassifiziert wurden, kann eine Moderatoranalyse durchgeführt werden, um festzustellen, ob die Effektgrößen je nach Studientyp variieren.
• "Wichtige Studien werden ignoriert": Sie können die bewertete Qualität der Studien codieren. Große Proben können stärker gewichtet werden.
• "Meta-Analyse kann mit randomisierten Studien nicht einverstanden sein":
• "Metaanalysen werden schlecht durchgeführt": Dies ist lediglich ein Argument für die Verbesserung der Standards metaanalytischer Methoden.
• "Ist eine narrative Besprechung besser?": Viele der Kritikpunkte der Metaanalyse (z. B. Publikationsbias) werden von narrativen Besprechungen geteilt. Es ist nur so, dass die Inferenzmethoden in narrativen Reviews weniger explizit und weniger streng sind.

Nach meiner Erfahrung haben die richtigen Zeitschriften keine Vorurteile gegen sie, wenn sie noch nie gemacht wurden, wie wenn Sie nicht Ihre eigene Wendung in einem Bereich angeben. Eine Metaanalyse wird in der Wissenschaft nicht zu finden sein, aber in Ihrem Fachgebiet sind gute Journale für neue Metaanalysen in der Regel in Ordnung.

Die Zeit und die Kosten, die eingespart werden, wenn kein Experiment durchgeführt wird, werden häufig für andere Aufgaben aufgewendet. Eines der größten Probleme ist, dass in vielen Artikeln nicht genügend Informationen zur Analyse enthalten sind. Oft muss man sich an die Autoren wenden, um dies wiederherzustellen, und leider können oder werden alle häufig Anfragen nicht erfüllen. Es ist die größte Zeitsenke des Prozesses.

Sie haben auch einige Profis wie hohe Zitationsraten verpasst. Wenn Sie die erste und einzige Metaanalyse sind, werden neue Forscher Ihre Arbeit sehr oft zitieren. Ein weiterer Vorteil sind relativ einfache Folgestudien. In ein oder zwei Jahren müssen Sie in einem dynamischen Studienbereich lediglich die nächsten zwei Forschungsjahre hinzufügen, um die Metaanalysen zu verfolgen. Es ist relativ einfach, Metaanalysen in einem Studienbereich zu kooptieren, wenn Sie der erste Schrittmacher sind. Es kommt dann zu relativ hohen Zitierraten.

Wenn Sie befürchten, dass die Ergebnisse, die Sie aus der Literatur abrufen, eine Publikationsverzerrung aufweisen, können Sie statistische Techniken wie Trichterdiagramme (Studiengröße (oft -se) auf der y-Achse und Auswirkung auf das x) verwenden solche erkennen. Eine unvoreingenommene Literatur zu einem Thema führt in der Regel zu symmetrischen Ergebnissen in einem Trichterdiagramm, ein Effekt aufgrund von Publikationsverzerrungen ähnelt jedoch eher einer halben Verteilung. Und im Gegensatz zu Experimenten kann festgestellt werden, dass die Daten, die in eine Metaanalyse einfließen, voreingenommen sind.

Ich dachte, ich würde die "Kritik der Metaanalyse" kritisieren und mich bei Michael Borenstein und Kollegen entschuldigen.

• "Eine Zahl kann ein Forschungsfeld nicht zusammenfassen": Eine gute Metaanalyse modelliert die Variabilität der tatsächlichen Effektgrößen und modelliert die Unsicherheit von Schätzungen.

! Varianz ist nur eine weitere möglicherweise irreführende Zusammenfassung, da dies ungewiss ist, und beide werden sehr irreführend sein, wenn Vorurteile, die mit ziemlicher Sicherheit vorliegen, nicht explizit behandelt werden.

• "Das File Drawer-Problem macht die Metaanalyse ungültig": Mit Trichterplots und verwandten Werkzeugen können Sie feststellen, ob die Stichprobengröße mit der Effektgröße zusammenhängt, um die Publikationsverzerrung zu überprüfen. Gute Metaanalysen bemühen sich um unveröffentlichte Studien. Dieses Thema wird mit narrativen Studien geteilt.

! Wie Box einmal sagte - wie das Versenden eines Ruderboots, um zu sehen, ob die See ruhig genug ist, damit die Queen Mary hineinfahren kann. Sehr geringer Stromverbrauch und mit ziemlicher Sicherheit falsch spezifizierter Zensierungsprozess .

• "Mischen von Äpfeln und Orangen": Gute Metaanalysen bieten ein strenges Kodierungssystem, um eingeschlossene Studien zu kategorisieren und das Einbeziehen und Ausschließen von Studien in die Metaanalyse zu rechtfertigen. Nachdem die Studien klassifiziert wurden, kann eine Moderatoranalyse durchgeführt werden, um festzustellen, ob die Effektgrößen je nach Studientyp variieren.

! Wieder hoffnungslose Macht und normalerweise auch Agregationsvoreingenommenheit.

• "Wichtige Studien werden ignoriert": Sie können die bewertete Qualität der Studien codieren. Große Proben können stärker gewichtet werden.

! Nun hoffnungslos Macht, Modell mis-Spezifikation und Vorspannung nicht immer korrekt verbucht siehe Auf der Vorspannung durch Qualitätskennzahlen in Meta-Analyse erzeugt

• "Meta-Analyse kann mit randomisierten Studien nicht einverstanden sein":

! Stimme voll und ganz zu und auch die einzige Quelle über die wahre Unsicherheit von ihnen.

• "Metaanalysen werden schlecht durchgeführt": Dies ist lediglich ein Argument für die Verbesserung der Standards metaanalytischer Methoden.

! Stimme voll zu.

• "Ist eine narrative Besprechung besser?": Viele der Kritikpunkte der Metaanalyse (z. B. Publikationsbias) werden von narrativen Besprechungen geteilt. Es ist nur so, dass die Inferenzmethoden in narrativen Reviews weniger explizit und weniger streng sind.

! Stimme voll zu.

Ich bin mir nicht sicher, warum ein Großteil der Meta-Analyse-Literatur solche rosaroten Gläser enthält - Meta-Analysen müssen durchgeführt werden Meta-Analysen in der medizinischen Forschung: Starke Unterstützung für eine höhere Qualität bei den einzelnen Forschungsbemühungen , sollten jedoch kritisch und mit vollem Bewusstsein aller durchgeführt werden die Würzen.

Und wie ich fast immer vergesse, muss ich klarstellen, was genau ich unter Metaanalyse verstehe, denn was andere unter Metaanalyse verstehen, hat sich im Laufe der Zeit und des Ortes verändert und ist heute vielleicht die gebräuchlichste Bedeutung - nur die quantitativen Methoden, die für extrahierte Zahlen verwendet werden in einer systematischen Überprüfung - ist nicht das, was ich meine. Ich meine den gesamten systematischen Überprüfungsprozess, auch wenn entschieden wird, überhaupt keine quantitativen Methoden anzuwenden. Oder in nur einem Satz wie im Wiki zitiert

In der Statistik bezieht sich eine Metaanalyse auf Methoden, die sich auf das Vergleichen und Kombinieren von Ergebnissen aus verschiedenen Studien konzentrieren, in der Hoffnung, Muster zwischen den Studienergebnissen, Ursachen für Meinungsverschiedenheiten zwischen diesen Ergebnissen oder andere interessante Zusammenhänge zu identifizieren, die im Zusammenhang mit zutage treten können mehrere Studien.