Welche Beispiele für lauernde Variablen in kontrollierten Experimenten gibt es in Veröffentlichungen?

In diesem Papier:

Lauernde Variablen: Einige Beispiele Brian L. Joiner Der amerikanische Statistiker Vol. 4, November 1981, 227-233

Brian Joiner behauptet, dass "Randomisierung kein Allheilmittel ist". Dies steht im Widerspruch zu allgemeinen Aussagen wie der folgenden:

Ein gut durchdachtes Experiment enthält Entwurfsmerkmale, mit denen Forscher fremde Variablen als Erklärung für die beobachtete Beziehung zwischen der unabhängigen Variablen und der abhängigen Variablen eliminieren können. Diese fremden Variablen werden als lauernde Variablen bezeichnet.

Das Zitat wurde aus dieser Frage entnommen und hat keine Quelle, aber meiner Erfahrung nach ist es repräsentativ für die vorherrschende Haltung: Beispiele für lauernde variable und einflussreiche Beobachtung

Ein Beispiel dafür gegeben ist , dass , wenn die Sicherheitsprüfung (insbesondere Karzinogenese) von Rot # 40 Lebensmittelfarbstoff an Nagetieren in den siebziger Jahren eine Wirkung der Käfig Position gefunden wurde , um die Studie vermengen. Jetzt habe ich viele Zeitschriftenartikel gelesen, die sich mit Karzinogenese bei Nagetieren befassen, und noch nie jemanden gesehen, der über die Kontrolle dieses Effekts berichtet.

Weitere Diskussionen zu diesen Studien finden Sie hier: Eine Fallstudie zur Statistik im Regulierungsprozess: die FD & C Red No. 40-Experimente.

Ich konnte keine nicht paywalled Version finden, aber hier ist ein Auszug:

Auf der Januar-Sitzung präsentierten wir eine vorläufige Analyse (14), die eine starke Korrelation zwischen der Sterberate in Käfigreihen und RE (retikuloendothelialer Tumor) offenbarte, die zwischen 17% (untere Reihe) und 32% (obere Reihe) lag (Tabelle) 2). Wir konnten diese starke Assoziation nicht nach Geschlecht, Dosierungsgruppe, Gestellspalte oder Position erklären. Eine nachfolgende Analyse (18) zeigte auch, dass die Position des Käfigs (vorne gegen hinten) mit der Mortalität ohne RE korreliert sein könnte und dass diese Position mit der Zeit bis zum Tod ohne RE korreliert war.

Ich bin speziell daran interessiert, warum es in der medizinischen Literatur ein solches Problem mit der Replikation zu geben scheint, aber Beispiele aus allen Bereichen wären willkommen. Beachten Sie, dass ich an Beispielen aus randomisierten kontrollierten Experimenten interessiert bin, nicht an Beobachtungsstudien.

Einige Beispiele aus der klinischen Forschung könnten Variablen sein, die nach der Randomisierung auftreten - die Randomisierung schützt Sie überhaupt nicht vor diesen. Ein paar aus meinem Kopf, die entweder als Möglichkeiten angesprochen oder zur Kenntnis genommen wurden:

• Verhaltensänderungen nach freiwilliger Beschneidung von erwachsenen Männern zur Vorbeugung von HIV
• Differentialverlust bei der Nachsorge zwischen Behandlungs- und Kontrollarmen eines RCT
• Ein spezifischeres Beispiel könnte die kürzlich durchgeführte Studie "Vorteile von Universal Gowning and Gloving" sein, die sich mit der Prävention von im Krankenhaus erworbenen Infektionen befasst ( Blog-Kommentar hier , das Papier befindet sich hinter einer Paywall). Zusätzlich zu der Intervention und möglicherweise aufgrund dieser Änderung haben sich sowohl die Händehygieneraten als auch die Kontaktraten zwischen Patienten und Mitarbeitern / Besuchern geändert.

Die Randomisierung schützt vor keinem dieser Effekte, da sie nach der Randomisierung auftreten.

Hier ist ein Beispiel, das ich für Microarray-Daten gefunden habe. Es wurde berichtet, dass der gemessene Ausdruck stark mit der Position auf den "Chips" korreliert. Dies ist ein Fall, in dem die Randomisierung der Position der Proben zu einer erhöhten Wahrscheinlichkeit eines Etikettierungsfehlers führen kann, sodass diejenigen, die die technische Arbeit ausführen, möglicherweise keine Randomisierung durchführen, wenn sie dies nicht für wichtig halten.

Die zufällige Zuordnung von experimentellen Einheiten zu Behandlungen kontrolliert die Wahrscheinlichkeit, dass ein anderer Faktor als die Behandlung die Ursache für die Assoziation ist (1,2) ⁠. In einigen Microarray-Plattformen wie Illumina® und NimbleGenTM ​​können mehrere biologische Proben mit einem einzigen Chip hybridisiert werden. Chip- und Probenpositionseffekte können die Genauigkeit und Reproduzierbarkeit von Microarray-Experimenten beeinträchtigen, sofern bei der Versuchsanordnung nicht das Gleichgewicht und die Randomisierung berücksichtigt werden (4). Unser Ziel war es, die Auswirkungen dieser Effekte in einem verwirrten und einem randomisierten Experiment zu vergleichen.

Bedeutung der Randomisierung in Microarray-Versuchsplänen mit Illumina-Plattformen

Ricardo A. Verdugo, Christian F. Deschepper und Gary A. Churchill. Das Jackson-Labor, Bar Harbor, ME 04609, Institut de Recherches Cliniques, Montreal, QC, Kanada.

Ich habe ein Beispiel, das sich möglicherweise von dem unterscheidet, was Sie ursprünglich beabsichtigt haben, als Sie diese Frage gestellt haben. In den letzten ein oder zwei Jahren gab es in der Psychologie eine anhaltende Diskussion über die Ursache für die mangelnde Reproduzierbarkeit von Effekten aus randomisierten Experimenten. Versionen dieser Debatte sind seit vielen Jahren aufgetaucht, aber die Debatte ist seit der Veröffentlichung eines Papiers , das zeigt, dass viele Praktiken, die in der Psychologie Standard sind, bei der Formulierung von Hypothesen, der Sammlung von Daten, der Analyse von Daten und der Berichterstattung über Ergebnisse , strenger geworden Ermöglichen Sie Forschern, Ergebnisse zu finden, die selbst willkürlich ausgewählte Hypothesen stützen (in der Originalarbeit verwendeten die Forscher diese Praktiken, um zu zeigen, dass das Hören von "When I'm Sixty-Four" durch die Beatles die Menschen jünger machte).

Die Wurzel des Problems sind natürlich die allgegenwärtigen Anreizstrukturen in der Psychologie (und in anderen Wissenschaften), um neue, positive, "publizierbare" Ergebnisse zu erzielen. Diese Anreize ermutigen Wissenschaftler, Praktiken anzuwenden, die zwar nicht so offensichtlich "falsch" wie die Datenherstellung sind, jedoch zu einer erhöhten Rate falsch positiver Ergebnisse führen. Diese Praktiken umfassen:

1. Die Sammlung mehrerer und sehr ähnlicher abhängiger Variablen. Es wird nur die abhängige Variable angegeben, die die Ergebnisse liefert, die mit der ursprünglichen Hypothese am besten übereinstimmen.
2. Während der Datenerfassung mehrmals auf signifikante Ergebnisse testen und die Datenerfassung stoppen, wenn Signifikanz erreicht wird.
3. Während der Analyse die Einbeziehung mehrerer Kovariaten in das statistische Modell. In der Abschlussarbeit wird nur die Kombination von Kovariaten angegeben, die zu Ergebnissen führt, die mit der ursprünglichen Hypothese am besten übereinstimmen.
4. Löschen von Bedingungen, die zu Ergebnissen führen, die nicht mit den ursprünglichen Hyptohesen übereinstimmen, und Nichtvorhandensein dieser Bedingungen im Papier.

Und so weiter.

Ich würde argumentieren, dass die "lauernde Variable" in diesen Fällen die Anreizstruktur ist, die Forscher für die Erzielung positiver "publizierbarer" Ergebnisse belohnt. Tatsächlich gab es in der Psychologie bereits mehrere hochkarätige Ergebnisse (von denen viele in meinem Fachgebiet Sozialpsychologie liegen), die sich nicht wiederholen konnten. Viele behaupten, dass diese Replikationsfehler ganze Teilbereiche der Psychologie in Zweifel ziehen.

Natürlich ist das Problem der Anreizstrukturen, die zu falsch positiven Ergebnissen führen, nicht nur in der Psychologie zu finden. Dies ist ein Problem, das in der gesamten Wissenschaft und damit in allen randomisierten kontrollierten Studien endemisch ist.

Verweise

Simmons, JP, Nelson, LD & Simonsohn, U. (2011). Falsch-positive Psychologie: Unbekannte Flexibilität bei der Datenerfassung und -analyse ermöglicht es, alles als wichtig darzustellen. Psychological Science , 17, 1359 & ndash; 1366.

Nosek, BA, Spies, JR & Motyl, M. (2012). Wissenschaftliche Utopie: II. Umstrukturierung von Anreizen und Praktiken zur Förderung der Wahrheit über die Veröffentlichbarkeit. Perspectives on Psychological Science , 7, 615-631.

Yong, E. (2012). Schlechte Kopie. Nature , 485, 298 & ndash; 300.

Abbott, A. (2013). Umstrittene Ergebnisse sind ein neuer Schlag für die Sozialpsychologie. Nature , 497, 16.