Wie kann das Hinzufügen einer 2. IV die 1. IV signifikant machen?

Ich habe wahrscheinlich eine einfache Frage, aber sie verblüfft mich gerade. Ich hoffe, dass Sie mir helfen können.

Ich habe ein Regressionsmodell der kleinsten Quadrate mit einer unabhängigen und einer abhängigen Variablen. Die Beziehung ist nicht signifikant. Jetzt füge ich eine zweite unabhängige Variable hinzu. Nun wird die Beziehung zwischen der ersten unabhängigen Variablen und der abhängigen Variablen signifikant.

Wie funktioniert das? Dies zeigt wahrscheinlich ein Problem mit meinem Verständnis, aber für mich, aber ich sehe nicht, wie das Hinzufügen dieser zweiten unabhängigen Variablen die erste signifikant machen kann.

Obwohl die Kollinearität (von Prädiktorvariablen) eine mögliche Erklärung ist, möchte ich vorschlagen, dass sie keine aufschlussreiche Erklärung ist, da wir wissen, dass die Kollinearität mit "allgemeinen Informationen" unter den Prädiktoren zusammenhängt, sodass an der Seite nichts Geheimnisvolles oder Gegenteiliges vorliegt Effekt der Einführung eines zweiten korrelierten Prädiktors in das Modell.

Betrachten wir dann den Fall zweier Prädiktoren, die wirklich orthogonal sind : Es gibt absolut keine Kollinearität zwischen ihnen. Eine bemerkenswerte Veränderung der Bedeutung kann immer noch passieren.

Bestimmen Sie die Prädiktorvariablen und X 2 und lassen Sie Y den Prädiktanden benennen. Die Regression von Y gegen X 1 wird nicht signifikant sein, wenn die Variation von Y um seinen Mittelwert nicht merklich verringert wird, wenn X 1 als unabhängige Variable verwendet wird. Wenn die Variation stark mit einer zweiten Variablen zugeordnet ist , X 2 , jedoch ändert sich die Situation. Denken Sie daran, dass die multiple Regression von Y gegen X 1 und X 2 äquivalent ist zu$X_1$$X_2$$Y$$Y$$X_1$$Y$$X_1$$X_2$$Y$$X_1$$X_2$

1. Regressiere und X 1 getrennt gegen X 2 .$Y$$X_1$$X_2$

2. Regressiere die Residuen gegen die X 1- Residuen.$Y$$X_1$

Die Rückstände aus dem ersten Schritt haben den Effekt von beseitigt . Wenn X 2 eng mit Y korreliert ist , kann dies eine relativ geringe Variation aufdecken, die zuvor maskiert worden war. Wenn diese Variation mit X 1 assoziiert ist , erhalten wir ein signifikantes Ergebnis.$X_2$$X_2$$Y$$X_1$

---

All dies könnte vielleicht mit einem konkreten Beispiel verdeutlicht werden. Lassen Sie uns Rzunächst zwei orthogonale unabhängige Variablen zusammen mit einem unabhängigen Zufallsfehler generieren :$\varepsilon$

n <- 32
set.seed(182)
u <-matrix(rnorm(2*n), ncol=2)
u0 <- cbind(u[,1] - mean(u[,1]), u[,2] - mean(u[,2]))
x <- svd(u0)$u
eps <- rnorm(n)

(Der svdSchritt stellt sicher, dass die beiden Spalten der Matrix x(die und X 2 darstellen ) orthogonal sind, wodurch Kollinearität als mögliche Erklärung für nachfolgende Ergebnisse ausgeschlossen wird.)$X_1$$X_2$

Als nächstes erstellen Sie als lineare Kombination aus X und Fehler. Ich habe die Koeffizienten angepasst, um das kontraintuitive Verhalten zu erzeugen:$Y$$X$

y <-  x %*% c(0.05, 1) + eps * 0.01

Dies ist eine Realisierung des Modells mit n = 32 Fällen.$Y \sim_{iid} N(0.05 X_1 + 1.00 X_2, 0.01^2)$$n=32$

Schauen Sie sich die beiden fraglichen Regressionen an. Erste , zurückbilden gegen X 1 nur:$Y$$X_1$

> summary(lm(y ~ x[,1]))
...
             Estimate Std. Error t value Pr(>|t|)
(Intercept) -0.002576   0.032423  -0.079    0.937
x[, 1]       0.068950   0.183410   0.376    0.710

Der hohe p-Wert von 0,710 zeigt, dass völlig nicht signifikant ist.$X_1$

Als nächstes regressiere gegen X 1 und X 2 :$Y$$X_1$$X_2$

> summary(lm(y ~ x))
...
             Estimate Std. Error t value Pr(>|t|)    
(Intercept) -0.002576   0.001678  -1.535    0.136    
x1           0.068950   0.009490   7.265 5.32e-08 ***
x2           1.003276   0.009490 105.718  < 2e-16 ***

Plötzlich, in Gegenwart von , X 1 ist stark signifikant, wie durch die in der Nähe von Null verschiedenen p-Werten für beiden Variablen angegeben.$X_2$$X_1$

Wir können dieses Verhalten anhand einer Streudiagramm-Matrix der Variablen , X 2 und Y zusammen mit den Residuen veranschaulichen, die bei der zweistufigen Charakterisierung der multiplen Regression oben verwendet wurden. Da X 1 und X 2 orthogonal sind, die X 1 wird Residuen gleich wie X 1 und braucht daher nicht neu gezeichnet werden. Wir werden die Residuen von Y gegen X 2 in die Streudiagramm-Matrix aufnehmen und die folgende Zahl erhalten:$X_1$$X_2$$Y$$X_1$$X_2$$X_1$$X_1$$Y$$X_2$

lmy <- lm(y ~ x[,2])
d <- data.frame(X1=x[,1], X2=x[,2], Y=y, RY=residuals(lmy))
plot(d)

Hier ist ein Rendering davon (mit einer kleinen Verschönerung):

Diese Grafikmatrix besteht aus vier Zeilen und vier Spalten, die ich von oben und von links nach rechts herunterzählen werde.

Beachten:

• Das Streudiagramm in der zweiten Zeile und der ersten Spalte bestätigt die Orthogonalität dieser Prädiktoren: Die Linie der kleinsten Quadrate ist horizontal und die Korrelation ist null.$(X_1, X_2)$

• Das Streudiagramm in der dritten Reihe und ersten Spalte zeigt die leichte, aber völlig unbedeutende Beziehung, die durch die erste Regression von Y gegen X 1 berichtet wird . (Der Korrelationskoeffizient ρ beträgt nur 0,07 ).$(X_1, Y)$$Y$$X_1$$\rho$$0.07$

• Das Streudiagramm in der dritten Zeile und zweiten Spalte zeigt die starke Beziehung zwischen Y und der zweiten unabhängigen Variablen. (Der Korrelationskoeffizient beträgt 0,996 ).$(X_2, Y)$$Y$$0.996$

• In der vierten Zeile werden die Beziehungen zwischen den Residuen von (gegen X 2 zurückgegangen ) und anderen Variablen untersucht:$Y$$X_2$

  • Die vertikale Skala zeigt, dass die Residuen (relativ) klein sind: Wir konnten sie im Streudiagramm von gegen X 2 nicht leicht sehen .$Y$$X_2$

  • Die Residuen sind stark korreliert mit ( ρ = 0,80 ). Die Regression gegen X 2 hat dieses zuvor verborgene Verhalten entlarvt.$X_1$$\rho = 0.80$$X_2$

  • Konstruktionsbedingt besteht keine verbleibende Korrelation zwischen den Residuen und .$X_2$

  • Es besteht eine geringe Korrelation zwischen und diesen Residuen ( ρ = 0,09 ). Dies zeigt, wie sich die Residuen ganz anders verhalten können als Y selbst. Auf diese Weise kann X 1 plötzlich als wesentlicher Beitrag zur Regression entlarvt werden.$Y$$\rho = 0.09$$Y$$X_1$

Schließlich ist anzumerken, dass die beiden Schätzungen des -Koeffizienten (beide gleich 0,06895 , nicht weit vom beabsichtigten Wert von 0,05 entfernt ) nur deshalb übereinstimmen , weil X 1 und X 2 orthogonal sind. Außer in geplanten Experimenten ist es selten, dass die Orthogonalität genau gilt. Eine Abweichung von der Orthogonalität führt normalerweise zu einer Änderung der Koeffizientenschätzungen.$X_1$$0.06895$$0.05$$X_1$$X_2$

Ich denke, dass dieses Problem auf dieser Website schon ziemlich gründlich diskutiert wurde, wenn Sie nur wussten, wo Sie suchen müssen. Daher werde ich wahrscheinlich später einen Kommentar mit einigen Links zu anderen Fragen hinzufügen oder diesen bearbeiten, um eine umfassendere Erklärung zu liefern, wenn ich keine finde.

Es gibt zwei grundlegende Möglichkeiten: Erstens kann die andere IV einen Teil der Restvariabilität absorbieren und so die Aussagekraft des statistischen Tests der anfänglichen IV erhöhen. Die zweite Möglichkeit ist, dass Sie eine Suppressor-Variable haben. Dies ist ein sehr kontraintuitives Thema, aber Sie finden einige Informationen hier *, hier oder in diesem ausgezeichneten CV-Thread .

_{* Beachten Sie, dass Sie den gesamten Abschnitt bis zum Ende durchlesen müssen, um zu dem Teil zu gelangen, in dem die Unterdrückungsvariablen erläutert werden. Sie können jedoch auch direkt dorthin springen. Am besten ist es, wenn Sie das Ganze lesen.}

---

Bearbeiten: Wie versprochen, füge ich eine ausführlichere Erläuterung meiner Argumentation dazu hinzu, wie die andere IV einen Teil der verbleibenden Variabilität aufnehmen und damit die Leistung des statistischen Tests der anfänglichen IV erhöhen kann. @whuber fügte ein beeindruckendes Beispiel hinzu, aber ich dachte, ich könnte ein komplementäres Beispiel hinzufügen, das dieses Phänomen auf eine andere Art und Weise erklärt, was einigen Leuten helfen könnte, das Phänomen besser zu verstehen. Außerdem zeige ich, dass die zweite IV nicht stärker assoziiert werden muss (obwohl dieses Phänomen in der Praxis fast immer auftreten wird).

Covariaten in einem Regressionsmodell können mit Tests getestet werden, indem die Parameterschätzung durch ihren Standardfehler dividiert wird, oder sie können mit F- Tests getestet werden, indem die Quadratsummen partitioniert werden. Wenn SS vom Typ III verwendet werden, sind diese beiden Testmethoden gleichwertig (für weitere Informationen zu SS-Typen und zugehörigen Tests kann es hilfreich sein, meine Antwort hier zu lesen: So interpretieren Sie SS vom Typ I ). Für diejenigen, die gerade erst anfangen, sich mit Regressionsmethoden vertraut zu machen, stehen die t- Tests häufig im Mittelpunkt, da sie für die Menschen verständlicher erscheinen. Dies ist jedoch ein Fall, in dem ein Blick auf die ANOVA-Tabelle meiner Meinung nach hilfreicher ist. Erinnern wir uns an die grundlegende ANOVA-Tabelle für ein einfaches Regressionsmodell: $t$$F$$t$

$$\begin{array}{lllll} &\text{Source} &\text{SS} &\text{df} &\text{MS} &\text{F} \\ \hline &x_1 &\sum(\hat y_i-\bar y)^2 &1 &\frac{\text{SS}_{x_1}}{\text{df}_{x_1}} &\frac{\text{MS}_{x_1}}{\text{MS}_{\rm res}} \\ &\text{Residual} &\sum(y_i-\hat y_i)^2 &N-(1+1) &\frac{\text{SS}_{\rm res}}{\text{df}_{\rm res}} \\ &\text{Total} &\sum(y_i-\bar y)^2 &N-1 \end{array}$$

Hier ist der Mittelwert von y , y i der beobachtete Wert ist y für Einheit (zB Patient) i , y i Modells vorhergesagten Wert für Einheit i , und N ist die Gesamtzahl der Einheiten in der Studie. Wenn Sie ein multiples Regressionsmodell mit zwei orthogonalen Kovariaten haben, könnte die ANOVA-Tabelle folgendermaßen aufgebaut sein: $\bar y$$y$$y_i$$y$$i$$\hat y_i$$i$$N$

$$\begin{array}{lllll} &\text{Source} &\text{SS} &\text{df} &\text{MS} &\text{F} \\ \hline &x_1 &\sum(\hat y_{x_{1i}\bar x_2}-\bar y)^2 &1 &\frac{\text{SS}_{x_1}}{\text{df}_{x_1}} &\frac{\text{MS}_{x_1}}{\text{MS}_{\rm res}} \\ &x_2 &\sum(\hat y_{\bar x_1x_{2i}}-\bar y)^2 &1 &\frac{\text{SS}_{x_2}}{\text{df}_{x_2}} &\frac{\text{MS}_{x_2}}{\text{MS}_{\rm res}} \\ &\text{Residual} &\sum(y_i-\hat y_i)^2 &N-(2+1) &\frac{\text{SS}_{\rm res}}{\text{df}_{\rm res}} \\ &\text{Total} &\sum(y_i-\bar y)^2 &N-1 \end{array}$$

Hier y x 1 i, zum Beispiel, ist der vorausgesagte Wert für Einheitiwenn sein beobachtete Wert fürx1den tatsächlichen beobachteten Wert war, aber die beobachtete Wert fürx2war der Mittelwert vonx2. Natürlich ist es möglichdassˉx2istder beobachtete Wert vonx$\hat y_{x_{1i}\bar x_2}$$i$$x_1$$x_2$$x_2$$\bar x_2$ $x_2$Für einige Beobachtungen sind in diesem Fall keine Anpassungen erforderlich, dies ist jedoch normalerweise nicht der Fall. Beachten Sie, dass diese Methode zum Erstellen der ANOVA-Tabelle nur gültig ist, wenn alle Variablen orthogonal sind. Dies ist ein stark vereinfachter Fall, der für Expository-Zwecke erstellt wurde.

Wenn wir die Situation betrachten, in der die gleichen Daten verwendet werden, um ein Modell mit und ohne anzupassen , dann wird das beobachtet$x_2$ anzupassen y- Werte und ˉ y dieselben. Somit muss die Gesamt-SS in beiden ANOVA-Tabellen gleich sein. Wenn x 1 und x 2 orthogonal zueinander sind, ist S S x 1 außerdem auch in beiden ANOVA-Tabellen identisch. Wie kommt es also, dass es mit x 2 verknüpfte Quadratsummenin der Tabelle geben kann? Woher kommen sie, wenn die gesamte SS und S S x $y$$\bar y$$x_1$$x_2$$SS_{x_1}$$x_2$$SS_{x_1}$sind gleich? Die Antwort ist , dass sie herkam . Die df x 2 werden ebenfalls aus df res entnommen . $SS_\text{res}$$\text{df}_{x_2}$$\text{df}_\text{res}$

Nun ist der Test von x 1 der $F$$x_1$ geteilt durch M S res in beiden Fällen. Da M S x 1 gleich ist, ergibt sich der Unterschied in der Signifikanz dieses Tests aus der Änderung von M S res , die sich auf zwei Arten geändert hat: Es begann mit weniger SS, weil einige auf x 2 aufgeteilt waren , aber dies sind geteilt durch weniger df, da auch x 2 Freiheitsgrade zugewiesen wurden. Die Änderung der Signifikanz / Potenz des F - Tests (und entsprechend der$MS_{x_1}$$MS_\text{res}$$MS_{x_1}$$MS_\text{res}$$x_2$$x_2$$F$ test ist in diesem Fall darauf zurückzuführen, wie sich diese beiden Änderungen auswirken. Wenn mehr SS gegeben x 2 , bezogen auf die df, die gegeben sind , x 2 , danndie M S res verringert, wodurch die F mit zugehörigem x 1 zu erhöhen und p mehrBedeutung zu gewinnen. $t$$x_2$$x_2$$MS_\text{res}$$F$$x_1$$p$

Der Effekt von muss nicht größer als x 1 sein, damit dies auftritt. Ist dies jedoch nicht der Fall , sind die Verschiebungen der p- Werte recht gering. Die einzige Möglichkeit, zwischen Nicht-Signifikanz und Signifikanz zu wechseln, besteht darin, dass die p- Werte auf beiden Seiten des Alphas nur geringfügig sind. Hier ist ein Beispiel, codiert in : $x_2$$x_1$$p$$p$R

x1 = rep(1:3, times=15)
x2 = rep(1:3, each=15)
cor(x1, x2)     # [1] 0
set.seed(11628)
y       = 0 + 0.3*x1 + 0.3*x2 + rnorm(45, mean=0, sd=1)
model1  = lm(y~x1)
model12 = lm(y~x1+x2)

anova(model1)
#  ...
#           Df Sum Sq Mean Sq F value  Pr(>F)  
# x1         1  5.314  5.3136  3.9568 0.05307 .
# Residuals 43 57.745  1.3429                  
#  ...
anova(model12)
#  ...
#           Df Sum Sq Mean Sq F value  Pr(>F)  
# x1         1  5.314  5.3136  4.2471 0.04555 *
# x2         1  5.198  5.1979  4.1546 0.04785 *
# Residuals 42 52.547  1.2511                  
#  ...

Tatsächlich muss überhaupt nicht signifikant sein. Erwägen: $x_2$

set.seed(1201)
y       = 0 + 0.3*x1 + 0.3*x2 + rnorm(45, mean=0, sd=1)
anova(model1)
# ...
#           Df Sum Sq Mean Sq F value  Pr(>F)  
# x1         1  3.631  3.6310  3.8461 0.05636 .
# ...
anova(model12)
# ...
#           Df Sum Sq Mean Sq F value  Pr(>F)  
# x1         1  3.631  3.6310  4.0740 0.04996 *
# x2         1  3.162  3.1620  3.5478 0.06656 .
# ...

Dies ist zugegebenermaßen nichts anderes als das dramatische Beispiel in @ whubers Beitrag, aber es kann den Leuten helfen, zu verstehen, was hier vor sich geht.

Es scheint, dass die Frage des OP auf zwei verschiedene Arten interpretiert werden kann:

1. Wie funktioniert OLS mathematisch, sodass sich das Hinzufügen einer unabhängigen Variablen auf unerwartete Weise ändern kann?

2. Wie kann das Ändern meines Modells durch Hinzufügen einer Variablen den Effekt einer anderen unabhängigen Variablen im Modell ändern?

Zu Frage 1 gibt es bereits mehrere gute Antworten. Und Frage Nr. 2 ist für die Experten möglicherweise so offensichtlich, dass sie davon ausgehen, dass das OP stattdessen Frage Nr. 1 stellen muss. Aber ich denke, Frage 2 verdient eine Antwort, die ungefähr so ​​aussieht:

Beginnen wir mit einem Beispiel. Angenommen, Sie hatten die Größe, das Alter, das Geschlecht usw. mehrerer Kinder und wollten eine Regression durchführen, um deren Größe vorherzusagen.

Sie beginnen mit einem naiven Modell, das Geschlecht als unabhängige Variable verwendet. Und es ist statistisch nicht signifikant. (Wie könnte es sein, Sie mischen 3-Jährige und Teenager.)

Dann fügt man das Alter hinzu und plötzlich ist nicht nur das Alter signifikant, sondern auch das Geschlecht. Wie kann das sein?

Natürlich können Sie in meinem Beispiel deutlich sehen, dass das Alter ein wichtiger Faktor für die Größe eines Kindes / Teenagers ist. Wahrscheinlich der wichtigste Faktor, über den Sie Daten haben. Auch das Geschlecht kann von Bedeutung sein, insbesondere für ältere Kinder und Erwachsene, aber das Geschlecht allein ist ein schlechtes Modell dafür, wie groß ein Kind ist.

Alter plus Geschlecht ist ein angemessenes (natürlich vereinfachtes) Modell, das für die Aufgabe angemessen ist. Wenn Sie andere Daten hinzufügen - Interaktion von Alter und Geschlecht, Ernährung, Größe der Eltern usw. -, könnten Sie ein noch besseres Modell erstellen, das natürlich im Vergleich zu der Vielzahl von Faktoren, die die Größe eines Kindes tatsächlich bestimmen, noch vereinfacht wird. Andererseits sind alle Modelle vereinfachte Versionen der Realität. (Eine Weltkarte im Maßstab 1: 1 ist für einen Reisenden nicht allzu nützlich.)

Ihr ursprüngliches Modell (nur Geschlecht) ist zu vereinfacht - so vereinfacht, dass es im Wesentlichen kaputt ist. Das heißt aber nicht, dass das Geschlecht für ein besseres Modell nicht nützlich ist.

BEARBEITEN: gungs Vorschlag bezüglich des Interaktionsbegriffs von Alter und Geschlecht hinzugefügt.

Dieser Thread hat bereits drei ausgezeichnete Antworten (jeweils +1). Meine Antwort ist ein ausführlicher Kommentar und eine Illustration zu dem von @gung gemachten Punkt (der einige Zeit in Anspruch nahm, um zu verstehen):

Es gibt zwei grundlegende Möglichkeiten: Erstens kann die andere IV einen Teil der Restvariabilität absorbieren und so die Aussagekraft des statistischen Tests der anfänglichen IV erhöhen. Die zweite Möglichkeit ist, dass Sie eine Suppressor-Variable haben.

$x_1$$x_2$$y$$n$$\mathbb R^n$$\mathbf y$$\mathbf x_1$$\mathbf x_2$(wobei die "Hutmatrix" einfach ein Projektor ist). Leser, die mit diesem Ansatz nicht vertraut sind, können z. B. in The Elements of Statistical Learning , Abschnitt 3.2, oder in vielen anderen Büchern nachschlagen .

"Erweiterung"

Die folgende Abbildung zeigt beide nach @gung aufgelisteten Möglichkeiten. Betrachten Sie zunächst nur den blauen Teil (dh ignorieren Sie alle roten Linien):

$\mathbf x_1$$\mathbf x_2$$X$$\mathbf y$$\hat y$

$\mathbf x_2$$\mathbf y$$\mathbf x_1$$\alpha$$90^\circ$$y$$x_1$$x_1$

$x_2$$\mathbf x_1$$\mathbf x_2$$x_1$$x_2$$x_2$$y$$\beta$$\alpha$$90^\circ$$x_1$

Mit anderen Worten, der Test vergleicht jetzt die Länge von OF mit OG und nicht wie zuvor mit OC. OF ist klein und "unbedeutend" im Vergleich zu OC, aber groß genug, um im Vergleich zu OG "signifikant" zu sein.

Dies ist genau die Situation, die @whuber, @gung und @Wayne in ihren Antworten dargestellt haben. Ich weiß nicht, ob dieser Effekt einen Standardnamen in der Regressionsliteratur hat, daher werde ich ihn "Verbesserung" nennen.

Unterdrückung

Beachten Sie, dass oben, wenn $\alpha=90^\circ$$\beta=90^\circ$$x_1$ alleine genau Null war, wird er genau Null bleiben.

Nicht so bei der Unterdrückung.

$x_3$$x_1$$x_2$$\mathbf x_3$$X$$\mathbf x_1$$x_3$$x_1$$X$$\mathbf y$ bleibt auch die dieselbe. Die Zerlegung von OD in Beiträge beider Prädiktoren ändert sich jedoch drastisch: Jetzt wird OD in OF 'und OE' zerlegt.

Beachten Sie, dass OF 'viel länger ist als früher. Ein statistischer Test würde die Länge von OF 'mit E'C vergleichen und daraus schließen, dass der Beitrag von$x_1$$x_1$$y$