Regressionskoeffizienten, die das Vorzeichen umkehren, nachdem andere Prädiktoren einbezogen wurden

Vorstellen

• Sie führen eine lineare Regression mit vier numerischen Prädiktoren aus (IV1, ..., IV4).
• Wenn nur IV1 als Prädiktor enthalten ist, lautet die standardisierte Beta +.20
• Wenn Sie auch IV2 bis IV4 einschließen, wird das Vorzeichen des standardisierten Regressionskoeffizienten von IV1 umgekehrt -.25(dh es wird negativ).

Dies wirft einige Fragen auf:

• Nennen Sie dies terminologisch einen "Suppressor-Effekt"?
• Welche Strategien würden Sie anwenden, um diesen Effekt zu erklären und zu verstehen?
• Haben Sie Beispiele für solche Effekte in der Praxis und wie haben Sie diese erklärt und verstanden?

Multikollinearität ist der übliche Verdächtige, wie JoFrhwld erwähnte. Wenn Ihre Variablen positiv korreliert sind, werden die Koeffizienten grundsätzlich negativ korreliert, was zu einem falschen Vorzeichen bei einem der Koeffizienten führen kann.

Eine Überprüfung wäre, eine Hauptkomponenten- oder Kammregression durchzuführen. Dies reduziert die Dimensionalität des Regressionsraums und behandelt die Multikollinearität. Sie erhalten voreingenommene Schätzungen, aber möglicherweise niedrigere MSE und korrigierte Vorzeichen. Unabhängig davon, ob Sie mit diesen bestimmten Ergebnissen zufrieden sind oder nicht, ist dies eine gute diagnostische Überprüfung. Wenn Sie immer noch Vorzeichenwechsel erhalten, kann es theoretisch interessant sein.

AKTUALISIEREN

Nach dem Kommentar in John Christies Antwort könnte dies interessant sein. Assoziationsumkehr (Größe oder Richtung) sind Beispiele für Simpsons Paradoxon, Lords Paradoxon und Unterdrückungseffekte. Die Unterschiede beziehen sich im Wesentlichen auf die Art der Variablen. Es ist sinnvoller, das zugrunde liegende Phänomen zu verstehen, als an ein bestimmtes "Paradoxon" oder einen bestimmten Effekt zu denken. Für eine kausale Perspektive ist das folgende Papier eine gute Erklärung, und ich werde ausführlich ihre Einführung und Schlussfolgerung zitieren, um Ihren Appetit anzuregen.

• Die Rolle des kausalen Denkens beim Verständnis des Simpson-Paradoxons, des Lord-Paradoxons und des Unterdrückungseffekts: kovariate Selektion bei der Analyse von Beobachtungsstudien

Tu et al. Präsentieren eine Analyse der Äquivalenz von drei Paradoxen und kommen zu dem Schluss, dass alle drei einfach die nicht überraschende Änderung der Assoziation von zwei Variablen wiederholen, wenn eine dritte Variable statistisch kontrolliert wird. Ich nenne das nicht überraschend, weil Umkehrung oder Änderung der Größe in der bedingten Analyse üblich sind. Um dies zu vermeiden, müssen wir die bedingte Analyse vollständig vermeiden. Was ist mit den Paradoxen von Simpson und Lord oder dem Unterdrückungseffekt, der über das Offensichtliche hinaus die zeitweiligen und manchmal alarmierenden Interessen in der Literatur anzieht?

[...]

Zusammenfassend lässt sich nicht genug betonen, dass Simpsons und verwandte Paradoxe zwar die Gefahren der Verwendung statistischer Kriterien für die Kausalanalyse aufzeigen, aber weder die Erklärungen für das Phänomen enthalten, das sie darstellen sollen, noch die Hinweise, wie sie vermieden werden können. Die Erklärungen und Lösungen liegen in kausalen Überlegungen, die auf Hintergrundwissen und nicht auf statistischen Kriterien beruhen. Es ist höchste Zeit, die Behandlung fehlinterpretierter Anzeichen und Symptome („Paradoxien“) einzustellen und mit dem Umgang mit der Krankheit („Kausalität“) fortzufahren. Wir sollten unsere Aufmerksamkeit zu Recht auf das Problem der Kovariatenauswahl für die Kausalanalyse mit nichtexperimentellen Daten lenken.

Ich glaube, dass solche Effekte häufig durch Kollinearität verursacht werden (siehe diese Frage ). Ich denke, das Buch über Mehrebenenmodellierung von Gelman und Hill spricht darüber. Das Problem ist , dass IV1mit einer oder mehreren der anderen Prädiktoren korreliert, und wenn sie alle in dem Modell enthalten sind, deren Schätzung wird unberechenbar.

Wenn das Umkehren des Koeffizienten auf Kollinearität zurückzuführen ist, ist es nicht wirklich interessant zu berichten, da dies nicht auf die Beziehung zwischen Ihren Prädiktoren zum Ergebnis zurückzuführen ist, sondern auf die Beziehung zwischen Prädiktoren.

Was ich gesehen habe, um dieses Problem zu lösen, ist die Residualisierung. Zuerst passen Sie ein Modell für an IV2 ~ IV1und nehmen dann die Residuen dieses Modells als rIV2. Wenn alle Variablen korreliert sind, sollten Sie sie wirklich alle restrukturieren. Sie können tun, um dies zu tun

rIV2 <- resid(IV2 ~ IV1)
rIV3 <- resid(IV3 ~ IV1 + rIV2)
rIV4 <- resid(IV4 ~ IV1 + rIV2 + rIV3)

Nun passen Sie das endgültige Modell mit an

DV ~ IV1 + rIV2 + rIV3 + rIV4

Der Koeffizient für rIV2stellt nun den unabhängigen Effekt dar IV2, dessen Korrelation mit gegeben ist IV1. Ich habe gehört, dass Sie nicht das gleiche Ergebnis erzielen, wenn Sie in einer anderen Reihenfolge residenzieren, und dass die Auswahl der Residenzierungsreihenfolge in Ihrer Forschung wirklich ein entscheidender Faktor ist.

Siehe Simpsons Paradoxon . Kurz gesagt, der beobachtete Haupteffekt kann sich umkehren, wenn einem Modell eine Interaktion hinzugefügt wird. Auf der verlinkten Seite sind die meisten Beispiele kategorisch, aber es gibt eine Abbildung oben auf der Seite, die man sich ununterbrochen vorstellen kann. Wenn Sie beispielsweise einen kategorialen und kontinuierlichen Prädiktor haben, kann der kontinuierliche Prädiktor das Vorzeichen leicht umdrehen, wenn der kategoriale hinzugefügt wird und innerhalb jeder Kategorie das Vorzeichen anders ist als für die Gesamtpunktzahl.