Randomisierung der nicht zufälligen Stichprobe

Ich bin immer ein bisschen überrascht, psychologische Anzeigen für die Teilnahme an experimentellen Studien zu sehen. Personen, die auf diese Anzeigen antworten, werden nicht zufällig ausgewählt und sind daher eine selbst ausgewählte Population.

Da bekannt ist, dass die Randomisierung das Selbstauswahlproblem löst, habe ich mich gefragt, ob die Randomisierung einer nicht zufälligen Stichprobe tatsächlich etwas geändert hat.

Was denkst du ? Und was sollen wir aus all diesen psychologischen Experimenten machen, die auf einer stark selbst ausgewählten Stichprobe basieren?

Die Randomisierung in einer nicht zufälligen Stichprobe kann immer noch zeigen, dass ein Effekt nicht durch zufällige Variation erklärt werden kann.

Stellen Sie sich zum Beispiel vor, wir haben eine Population mit zwei nicht erkannten Untergruppen (mit etwas unterschiedlichen Merkmalen *) von ungefähr gleicher Größe, aber Ihre Stichprobe ist nicht zufällig und ergibt eine Aufteilung von 80/20. Stellen wir uns 2 gleich große Behandlungsgruppen vor. Die Randomisierung (zumindest bei angemessenen Stichprobengrößen) führt in der Regel zu einer Aufteilung von 80/20 in jeder Gruppe, sodass die Behandlungseffekte eher auf die Behandlung zurückzuführen sind als auf die ungleiche Zuordnung der heterogenen Gruppen zu den Behandlungen.

* was beispielsweise zu unterschiedlichen Grundlinienmitteln führt

Das Problem tritt auf, wenn Sie die Inferenz auf eine andere Zielpopulation ausweiten möchten, als die, für die Ihre Stichprobe repräsentativ ist (die Selbstselektoren). Dies erfordert Annahmen / ein Argument, für das Sie möglicherweise keine Beweise haben (z. B. die Annahme, dass die Behandlungsunterschiede für alle Untergruppen der Bevölkerung konsistent sind).

Stellen Sie sich für eine ähnliche Situation vor, Sie testen ein Medikament gegen Bluthochdruck nur bei Männern im Vergleich zu einer Standardbehandlung und einem Placebo. Angenommen, die Männer sind ordnungsgemäß in die Behandlungsgruppe randomisiert. Ein Behandlungseffekt wird in dem Sinne real sein, dass er tatsächlich einen Effekt bei Männern beschreibt. Die Schwierigkeit wird auftreten, wenn versucht wird, diese Schlussfolgerung auf Frauen auszudehnen .

Wenn sie also, abgesehen von der Rekrutierung, ordnungsgemäß durchgeführt und randomisiert werden , wird ein signifikanter Effekt beobachtet, wie es scheint, aber er gilt für das, was Sie tatsächlich beprobt haben, nicht unbedingt für das, was Ihr gewünschtes Ziel war - das Überqueren der Lücke zwischen beiden kann erfordern sorgfältige Argumentation; ein solches Argument fehlt oft.

Als ich Student war, war es durchaus üblich, dass Psychologieexperimente an Psychologiestudenten durchgeführt wurden, von denen erwartet wurde, dass sie sich für eine bestimmte Anzahl von Stunden solcher Experimente freiwillig melden (dies mag immer noch der Fall sein, aber ich habe keinen regelmäßigen Kontakt zu Psychologen die nicht mehr experimentieren). Bei einer Randomisierung der Behandlung waren die Schlussfolgerungen möglicherweise gültig (abhängig davon, was getan wurde), würden jedoch für die lokale Bevölkerung selbst ausgewählter Psychologiestudenten gelten (da sie im Allgemeinen auswählen, für welche Experimente sie sich anmelden möchten), von denen sie weit entfernt sind eine Zufallsstichprobe der breiteren Bevölkerung.

Da bekannt ist, dass die Randomisierung das Selbstauswahlproblem löst, habe ich mich gefragt, ob die Randomisierung einer nicht zufälligen Stichprobe tatsächlich etwas geändert hat.

Kurz gesagt, nein. Stellen Sie sich das so vor: Sie haben eine Urne mit 100 schwarzen und 100 weißen Kugeln. Sie probieren 90 schwarze und 10 weiße Kugeln aus. Eine zufällige Stichprobe aus dieser Teilstichprobe ermöglicht keinen unvoreingenommenen Rückschluss auf die Urne selbst.

Und was sollen wir aus all diesen psychologischen Experimenten machen, die auf einer stark selbst ausgewählten Stichprobe basieren?

Die Leute sind sich einig, dass nicht zufällige Stichproben ein Problem sind. Aber wie viel von einem Problem ist auch eine Frage Ihrer "Theorie" des Mechanismus, an dem Sie interessiert sind. Wenn Ihre Hypothese einen Mechanismus behandelt, der grundsätzlich für alle Menschen gleich sein sollte (dh ein Einfrieren beim Eintauchen in Eis erleben Wasser), dann ist die nicht zufällige Auswahl nicht so wichtig. Leider sind das oft nicht die Dinge, an denen wir interessiert sind.

Es gibt eine Technik, die entwickelt wurde, um die von Ihnen erwähnten Probleme zu lösen, die als Bootstrapping bezeichnet werden. Bootstrapping ist ein Ansatz, bei dem Sie neue synthetische Samples generieren, indem Sie mit Ersatz aus Ihrem tatsächlichen Sample-Pool ziehen . Anschließend erstellen Sie Statistiken zu jedem dieser synthetischen Stichprobenpools und vergleichen die Statistiken zwischen den Sätzen.

Dies hat den großen Vorteil, dass Sie eine Vielzahl zusätzlicher Tools in Ihren Statistiken verwenden können, da diese synthetischen Proben aus einer bekannten Verteilung stammen. Sie können dann feststellen, wie gut Ihre Schätzer mit diesen synthetischen Fällen umgehen können. Wenn Sie feststellen, dass die Schätzer für alle Ihre synthetischen Stichproben gut zum gleichen Ergebnis konvergieren, können Sie anhand der Bootstrapping-Annahmen schließen, dass Ihre Schätzer, wenn sie auf die vollständige Stichprobe angewendet werden, gute Schätzungen für die unbekannte Population liefern. Wenn Sie andererseits feststellen, dass Ihre Schätzer von synthetischem Stichprobensatz zu synthetischem Stichprobensatz sehr unterschiedliche Ergebnisse liefern, sollten Sie daraus schließen, dass Ihre Schätzer bei Anwendung auf die vollständige Stichprobe möglicherweise keine sehr gute Schätzung für die unbekannte Population liefern.

Dieser Bootstrapping-Ansatz kann verwendet werden, um zu überprüfen, ob die Randomisierung Ihrer nicht zufälligen Stichprobe ausreichend ist. Es kann es natürlich nicht beweisen, aber es wurde als Instrument zur Verbesserung der Glaubwürdigkeit verwendet, indem Ihre Annahme, dass Ihre Zufallsstichprobe ausreichend zufällig ist, doppelt überprüft wird.