Wie gut kann multiple Regression Kovariaten wirklich „kontrollieren“?

Wir alle kennen Beobachtungsstudien, die versuchen, einen Kausalzusammenhang zwischen einem nicht randomisierten Prädiktor X und einem Ergebnis herzustellen, indem jeder erdenkliche potenzielle Störfaktor in ein multiples Regressionsmodell einbezogen wird. Indem wir also alle Störfaktoren "kontrollieren", so das Argument, isolieren wir den Effekt des interessierenden Prädiktors.

Ich empfinde diese Idee zunehmend als unangenehm, hauptsächlich aufgrund von Bemerkungen, die verschiedene Professoren meiner Statistikklassen gemacht haben. Sie fallen in ein paar Hauptkategorien:

1. Sie können nur Kovariaten kontrollieren, an die Sie denken und die Sie messen.
Dies ist offensichtlich, aber ich frage mich, ob es tatsächlich das schädlichste und unüberwindlichste von allen ist.

2. Der Ansatz hat in der Vergangenheit zu hässlichen Fehlern geführt.

Zum Beispiel diskutieren Petitti & Freedman (2005) , wie statistisch angepasste Beobachtungsstudien im Wert von Jahrzehnten zu katastrophal falschen Schlussfolgerungen über die Wirkung der Hormonersatztherapie auf das Herzkrankheitsrisiko kamen. Spätere RCTs fanden fast entgegengesetzte Effekte.

3. Die Prädiktor-Ergebnis-Beziehung kann sich seltsam verhalten, wenn Sie auf Kovariaten kontrollieren.

Yu-Kang Tu, Gunnell & Gilthorpe (2008) diskutieren verschiedene Erscheinungsformen, darunter Lord's Paradox, Simpsons Paradox und Suppressorvariablen.

4. Für ein einzelnes Modell (multiple Regression) ist es schwierig, Kovariaten angemessen zu berücksichtigen und gleichzeitig die Prädiktor-Ergebnis-Beziehung zu modellieren.

Ich habe dies als Grund für die Überlegenheit von Methoden wie Neigungsbewertungen und Schichtung auf Störfaktoren gehört, bin mir aber nicht sicher, ob ich das wirklich verstehe.

5. Das ANCOVA-Modell setzt voraus, dass die Kovariate und der Prädiktor von Interesse unabhängig sind.

Natürlich passen wir Confounder genau an, WEIL sie mit dem interessierenden Prädiktor korrelieren. Es scheint also, dass das Modell in genau den Fällen, in denen wir es am meisten wollen, nicht erfolgreich sein wird. Es wird argumentiert, dass die Anpassung nur zur Rauschreduzierung in randomisierten Studien geeignet ist. Miller & Chapman, 2001 geben eine großartige Rezension.

Meine Fragen sind also:

1. Wie ernst sind diese und andere Probleme, von denen ich vielleicht nichts weiß?
2. Wie ängstlich sollte ich sein, wenn ich eine Studie sehe, die "für alles kontrolliert"?

(Ich hoffe, dass diese Frage nicht zu weit in das Diskussionsgebiet vordringt und lade gerne Vorschläge ein, um sie zu verbessern.)

EDIT : Ich habe Punkt 5 hinzugefügt, nachdem ich eine neue Referenz gefunden habe.

Es gibt eine allgemein akzeptierte, möglicherweise nicht statistische Antwort auf die Frage, welche Annahmen man treffen muss, um zu behaupten, man habe die Kovariaten wirklich unter Kontrolle.

Dies kann mit den kausalen Graphen von Judea Pearl und mit Kalkül erfolgen .

Siehe http://ftp.cs.ucla.edu/pub/stat_ser/r402.pdf sowie anderes Material auf seiner Website.

Jetzt als Statistiker wissen wir, dass alle Modelle falsch sind, und die wahre statistische Frage sind die identifizierten Annahmen, die wahrscheinlich nicht zu falsch sind, so dass unsere Antwort ungefähr in Ordnung ist. Pearl ist sich dessen bewusst und diskutiert es in seiner Arbeit, aber vielleicht nicht explizit und oft genug, um zu vermeiden, dass viele Statistiker mit seinem Anspruch, eine Antwort zu haben , frustriert werden (was tut er wohl für welche Annahmen, die man machen muss? ).

(Derzeit bietet die ASA einen Preis für Lehrmaterial an, um diese Methoden in statistische Kurse aufzunehmen, siehe hier )

Antwort auf Frage 1:

• Das Ausmaß der Schwere lässt sich am besten kontextbezogen beurteilen (dh es sollten alle Faktoren berücksichtigt werden, die zur Validität beitragen).
• Das Ausmaß der Schwere sollte nicht kategorisch beurteilt werden. Ein Beispiel ist der Begriff einer Inferenzhierarchie für Studiendesigns (z. B. Fallberichte sind am niedrigsten und RCTs sind kategorisch am höchsten). Diese Art von Schema wird häufig an medizinischen Fakultäten als einfache Heuristik gelehrt, um schnell qualitativ hochwertige Nachweise zu identifizieren. Das Problem bei dieser Art des Denkens ist, dass die Antwort selbst überbestimmt ist, da sie algorithmisch und in Wirklichkeit zu deterministisch ist. In diesem Fall können Sie die Möglichkeiten verpassen, mit denen schlecht konzipierte RCTs schlechtere Ergebnisse erzielen können als eine gut konzipierte Beobachtungsstudie.
• In diesem übersichtlichen Bericht finden Sie eine vollständige Diskussion der oben genannten Punkte aus der Sicht eines Epidemiologen (Rothman, 2014) .

Antwort auf Frage 2:

• Hab große Angst. Um nur zu wiederholen, was andere bereits gesagt haben, und (grob) aus Richard McElreaths elegantem Einführungstext zum kritischen Denken in der statistischen Modellierung zu zitieren :

  "... alle Modelle sind falsch, aber einige sind nützlich ..."