Ist die Korrelation zwischen Variablen in einer Interaktion wichtig?

Angenommen, Sie passen ein Modell . Gibt es praktische Implikationen für die Abschätzung des Interaktionseffekts, wenn und korreliert sind?$y = x_1 + x_2 + x_1\times x_2$$x_1$$x_2$

Ich verstehe, dass es Kollinearitätsprobleme geben könnte, wenn und sehr korreliert sind, aber das sollte den Interaktionsterm nicht beeinflussen, oder?$x_1$$x_2$

Es gibt einen Grund, warum Ihr statistischer Berater nicht erklären konnte, warum die Einführung einer Interaktion in ein lineares Modell die Korrelationsstruktur nachteilig beeinflussen kann: Dies hängt von den Umständen ab und es ist im Allgemeinen nicht richtig, dass ein nachteiliger Effekt vorliegt. Schauen Sie sich einfach die in den Streudiagramm-Matrizen unten gezeigten Datensätze an, um zu sehen, auf welche Weise zwei Variablen mit ihren Produkten in Beziehung stehen können.

Der Rest dieses Beitrags erklärt, wie diese Zahlen erstellt wurden, und bietet möglicherweise einen besseren Einblick in die Situation.

---

Lassen Sie uns zunächst das Offensichtliche aus dem Weg : Sie Sie eine multiple Regression mit den drei Variablen Ob es Kollinearitätsprobleme gibt oder nicht, hängt von den linearen Beziehungen zwischen Das ist universell.$x_3=x_1x_2,$$x_1, x_2, x_3.$$x_i.$

Das Besondere an diesem Problem ist die Beziehung zwischen und dem anderennämlich, dass So , wenn jemand geraten hat Sie vorsichtig zu sein, muss es zu einer Erwartung zurückzuführen sein , dass diese multiplikative Beziehung mathematisch eine Art von multicollinearity unter allen bringt$x_3$$x_i;$$x_3 = x_1x_2.$x i .$x_i.$

Dies ist einfach nicht so, wie durch die Darstellung aller möglichen Muster gezeigt werden kann. Ich möchte Sie nicht mit der Pedanterie erschöpfen, alle Möglichkeiten durchzugehen, also lassen Sie mich nur einige der anschaulichsten skizzieren. Das grundlegende Werkzeug, das ich in dieser Studie verwenden werde, ist die Beobachtung, dass die Korrelation zwischen beliebigen Variablen unverändert bleibt, wenn die separat lineare Transformationen durchlaufen. $x_1, x_2$$x_i$ x 1 x 2 x i . Das heißt, wir können jede Variable frei mit Konstanten multiplizieren und den Ergebnissen andere Konstanten hinzufügen, ohne die Korrelation zu ändern. Diese Operationen können jedoch die Korrelationen zwischen und verändern$x_1x_2$$x_i.$

(Fast) konstantes Produkt

Es ist möglich, dass konstant ist (was problematisch ist, wenn eine Regression eine Konstante enthält). Um ein Beispiel zu erstellen, generieren Sie einfach Werte ungleich Null für und definieren Sie Ihr Produkt entspricht konstruktionsbedingt .$x_1x_2$$x_1$$x_2 = c/x_1.$$c$

Sie können dieses Beispiel stören, indem Sie in eine Zufallsvariable mit Werten nahe ändern Wenn Sie dies tun, wird ein wenig Korrelation zwischen dem und seinem Produkt eingeführt, aber nicht viel. Hier ist zum Beispiel ein Beispiel, bei dem aus einer Gamma -Verteilung gezogen wird und eine Normalverteilung mit dem Mittelwert und einer Standardabweichung von nur$c\ne 0$$c.$$x_i$$x_1$$(5)$$c$$1$$1/100:$

Obwohl die in diesem Beispiel eine Korrelation von , ihre Korrelationen mit nur und$x_i$$\rho_{1\cdot 2}=-0.87$$x_1x_2$$-0.06$$0.00.$

Obwohl es ein Problem geben kann, sowohl als auch in einem linearen Modell zu verwenden, ist es daher unwahrscheinlich, dass es verschlimmert.$x_1$$x_2$$x_1x_2$

Nicht konstantes Produkt

Um die Berechnungen klarer zu machen, können wir genauso gut annehmen, dass eine Einheitsvarianz hat. Die Varianz von sei und schreibe für die Korrelationen zwischen und Berechnen wir, was mit diesen Korrelationen passiert, wenn die Konstanten von subtrahiert werdenDa die perfekt symmetrische Rollen spielen (tauschen Sie einfach " " gegen " " in den Indizes), reicht es aus, die Korrelation mit zu berechnen$x_i$$x_1x_2$$\tau^2$$\rho_{12\cdot i}$$x_1x_2$$x_i.$$c_i$$x_i.$$x_i$$1$$2$$x_1:$

$$\eqalign{ \operatorname{Cor}((x_1-c_1)(x_2-c_2), x_1) &= \frac{\operatorname{Cov} ((x_1-c_1)(x_2-c_2), x_1)}{\sqrt{\operatorname{Var}{(x_1-c_1)(x_2-c_2)}\operatorname{Var}{x_1}}} \\ &= \frac{\operatorname{Cov} (x_1x_2 - c_2x_1 - c_1x_2+c_1c_2, x_1)}{\sqrt{\operatorname{Var}(x_1x_2 - c_1x_2 - c_2x_1 + c_1c_2)}} \\ &= \frac{\tau\rho_{12\cdot 1}-c_2-c_1\rho_{1\cdot 2}}{\sqrt{\tau^2 - c_1\rho_{1\cdot 2} - c_2 - 2c_1\rho_{12\cdot 2} - 2c_2\rho_{12\cdot 1} + 2c_1c_2\rho_{1\cdot 2}}}.\tag{*} }$$

Keine Korrelationen mit dem Produkt

Unabhängig davon, wie die Korrelation zwischen könnte, können wir wählen , um das Produkt nicht mit korrelieren$x_i$( c 1 , c 2 ) x i .$(c_1,c_2)$$x_i.$

Aus der vorstehenden Analyse wird dies erreicht, wenn der Zähler von für Null ist$(*)$$i=1,2:$

$$\left\{\matrix{0 = \tau\rho_{12\cdot 1} -c_2 - c_1\rho_{1\cdot 2} \\ 0 = \tau\rho_{12\cdot 2} -c_1 - c_2\rho_{1\cdot 2}}\right.$$

Wenn dieses Gleichungssystem in eine eindeutige Lösung. Hier ist zum Beispiel eine Streudiagrammmatrix eines Datensatzes von Werten, in der eine bivariate Normalverteilung mit Korrelation aber die keine Korrelation mit :$\rho_{1\cdot 2}^2 \ne 1,$$(c_1,c_2)$$100$$(x_i)$$\rho_{1\cdot 2}=-0.99$$x_i$$x_1x_2$

Da mit beiden ist ("orthogonal zu") Einführung in ein lineares Modell überhaupt nicht zu Problemen.$x_1x_2$$x_i,$

Wie dieses Beispiel zeigt, ist diese Situation die Norm, da sie dazu neigt, aufzutreten, wenn zentriert wurde. Mit anderen Worten, wenn Sie Ihre Variablen vor dem Erstellen einer Interaktion zentrieren, treten normalerweise keine Probleme mit zusätzlicher Kollinearität auf.$x_i$

Starke Korrelationen mit dem Produkt

Die Gleichungen können auch gelöst werden, um starke Korrelationen zu erzeugen. Wir müssen nicht einmal so weit gehen, um die Gleichungen genau zu lösen (was eine Herausforderung ist), da es eine einfache Abkürzung gibt: Indem wir eines der auf nahezu Null skalieren und eine Konstante hinzufügen, werden wir ihre Korrelation nicht ändern. aber dann ist das Produkt fast gleich einem Vielfachen des anderen der wodurch sie stark korreliert werden.$(*)$$x_i$x i ,$x_i,$

Hier ist ein Beispiel, das auf dem vorherigen basiert. In diesem Beispiel wurde in geändert, sodass ungefähr gleich wodurch es stark positiv mit korreliert In diesem Beispiel ist und .$x_2$$1 + x_2 / 100$$x_1x_2$$x_1,$$x_1x_2.$$\rho_{12\cdot 1} = 0.999878$$\rho_{12\cdot 2} = -0.9898793$