Warum werden Interaktionen bei multipler Regression als Produkte und nicht als etwas anderes der Prädiktoren modelliert?

Betrachten Sie die multiple lineare Regression. Diese Frage mag täuschend einfach sein, aber ich versuche intuitiv zu verstehen, warum, wenn ich beispielsweise Prädiktoren X1 und X2 habe, Interaktionen zwischen diesen Prädiktoren von X1 * X2 angemessen erfasst werden können.

Ich weiß, dass Interaktionsbegriffe als Produkte modelliert werden, nur weil mir das in der Schule beigebracht wurde und jeder sagt, dass er das tun soll. Ich vermute, es gibt vielleicht ein geometrisches Argument.

Aber warum wird ein Produkt (z. B. zwei numerische Merkmale und nicht die zusätzliche Komplexität des Multiplizierens mit einem als Dummy-Variable, während das andere numerisch ist usw.) Interaktionen angemessen erfassen?

Warum werden "Interaktionen" nicht standardmäßig am besten von einem anderen f (X1, X2) erfasst, anstatt speziell von X1 * X2?

Ich kann die Idee sehen, dass X1 * X2 Situationen erfassen kann, in denen die Vorzeichen von X1 und X2 gleich sind oder nicht, aber warum sollten Interaktionen dann nicht standardmäßig mit f (X1, X2) = Vorzeichen (X1) modelliert werden? ) * Vorzeichen (X2) anstelle von f (X1, X2) = X1X2?

Mir ist klar, dass ich einer Regression oder einem Vorhersagemodell jedes andere f (X1, X2) hinzufügen kann, aber die genaue Form von Interaktionen durch Handcodierung zu finden, ist zeitaufwändig. Woher weiß ich, dass X1X2 eine gute erste Vermutung ist?

multiple-regression feature-selection interaction

— ChilliProject
quelle

Wir können uns eine "Interaktion" zwischen den Regressorvariablen und als Abweichung von einer perfekt linearen Beziehung vorstellen, $x_1$ $x_2$ in der die Beziehung zwischen einem Regressor und der Antwort für verschiedene Werte der anderen Regressoren unterschiedlich ist. Der übliche "Interaktionsterm" ist in gewissem Sinne eine "einfachste" solche Abweichung.

Definitionen und Konzepte

"Lineare Beziehung" bedeutet einfach das übliche Modell, in dem wir annehmen, dass sich eine Antwort von einer linearen Kombination von (und einer Konstanten) durch unabhängige Fehler mit einem Mittelwert von Null unterscheidet $Y$ $x_i$ $\varepsilon:$

\begin{matrix} (*) & Y = β_{0} + β_{1} x_{1} + β_{2} x_{2} + ε . \end{matrix}

$Y = \beta_0 + \beta_1 x_1 + \beta_2 x_2 + \varepsilon.\tag{*}$

"Interaktion" bedeutet im allgemeinsten Sinne, dass die Parameter von anderen Variablen abhängen können. $\beta_i$

Insbesondere in diesem Beispiel von nur zwei Regressoren könnten wir generisch schreiben

β_{1} = β_{1} (x_{2}) and β_{2} = β_{2} (x_{1}) .

$\beta_1 = \beta_1(x_2)\text{ and }\beta_2 = \beta_2(x_1).$

Analyse

In der Praxis glaubt niemand außer einem theoretischen Physiker wirklich, dass das Modell völlig genau ist: Es ist eine Annäherung an die Wahrheit und, wie wir hoffen, eine enge. Wenn wir diese Idee weiter verfolgen, könnten wir uns fragen, ob wir die Funktionen ähnliche Weise mit linearen Funktionen approximieren könnten , falls wir irgendeine Art von Interaktion modellieren müssen. Insbesondere könnten wir versuchen zu schreiben $(*)$ $\beta_i$

β_{1} (x_{2}) = γ_{0} + γ_{1} x_{2} + {tiny error}_{1};

$\beta_1(x_2) = \gamma_0 + \gamma_1 x_2 + \text{ tiny error}_1;$

β_{2} (x_{1}) = δ_{0} + δ_{1} x_{1} + {tiny error}_{2} .

$\beta_2(x_1) = \delta_0 + \delta_1 x_1 + \text{ tiny error}_2.$

Mal sehen, wohin das führt. Das Einstecken dieser linearen Näherungen in ergibt $(*)$

\begin{aligned} Y & = β_{0} + β_{1} (x_{2}) x_{1} + β_{2} (x_{1}) x_{2} + ε \\ = β_{0} + (γ_{0} + γ_{1} x_{2} + {tiny error}_{1}) x_{1} + (δ_{0} + δ_{1} x_{1} + {tiny error}_{2}) x_{2} + ε \\ = β_{0} + γ_{0} x_{1} + δ_{0} x_{2} + (γ_{1} + δ_{1}) x_{1} x_{2} + \dots \end{aligned}

$\eqalign{ Y &= \beta_0 + \beta_1(x_2) x_1 + \beta_2(x_1) x_2 + \varepsilon \\ &= \beta_0 + (\gamma_0 + \gamma_1 x_2 + \text{ tiny error}_1)x_1 + (\delta_0 + \delta_1 x_1 + \text{ tiny error}_2)x_2 + \varepsilon \\ &= \beta_0 + \gamma_0 x_1 + \delta_0 x_2 + (\gamma_1 + \delta_1)x_1 x_2 + \ldots }$

wobei " " den Gesamtfehler darstellt, $\ldots$

\dots = ({tiny error}_{1}) x_{1} + ({tiny error}_{2}) x_{2} + ε .

$\ldots = (\text{ tiny error}_1)x_1 + (\text{ tiny error}_2)x_2 + \varepsilon.$

Mit etwas Glück ist das Multiplizieren dieser beiden "winzigen Fehler" mit typischen Werten von entweder (a) im Vergleich zu oder (b) kann als zufällige Begriffe behandelt werden, die, wenn sie zu hinzugefügt werden (und möglicherweise die Werte anpassen) Der konstante Term , um systematische Verzerrungen zu berücksichtigen, kann als zufälliger Fehlerterm behandelt werden. $x_i$ $\varepsilon$ $\varepsilon$ $\beta_0$

In beiden Fällen sehen wir bei einer Änderung der Notation, dass dieses Modell der linearen Annäherung an eine Interaktion die Form annimmt

\begin{matrix} (**) & Y = β_{0} + β_{1} x_{1} + β_{2} x_{2} + β_{12} x_{1} x_{2} + ε, \end{matrix}

$Y = \beta_0 + \beta_1 x_1 + \beta_2 x_2 + \beta_{12}x_1 x_2 + \varepsilon,\tag{**}$

Das ist genau das übliche "Interaktions" -Regressionsmodell. (Beachten Sie, dass weder der neue Parameter noch selbst dieselbe Menge haben, die ursprünglich durch diese Begriffe in ) $\varepsilon$ $(*).$

Beobachten Sie, wie durch Variation der beiden ursprünglichen Parameter entsteht. Es erfasst die Kombination von (i) wie der Koeffizient von von abhängt (nämlich durch ) und (ii) wie der Koeffizient von von abhängt (durch ). $\beta_{12}$ $x_1$ $x_2$ $\gamma_1$ $x_2$ $x_1$ $\delta_1$

Einige Konsequenzen

Es ist eine Konsequenz dieser Analyse, dass, wenn wir alle bis auf einen der Regressoren fixieren, die Antwort ( bedingt ) immer noch eine lineare Funktion des verbleibenden Regressors ist. $Y$ Wenn wir beispielsweise den Wert von festlegen wir das Interaktionsmodell als neu schreiben $x_2,$ $(**)$

Y = (β_{0} + β_{2} x_{2}) + (β_{1} + β_{12} x_{2}) x_{1} + ε,

$Y = (\beta_0 + \beta_2 x_2) + (\beta_1 + \beta_{12} x_2) x_1 + \varepsilon,$

Dabei ist der und die Steigung ( der Koeffizient) Dies ermöglicht eine einfache Beschreibung und Einsicht. Geometrisch ist die Oberfläche durch die Funktion gegeben $\beta_0 + \beta_2 x_2$ $x_1$ $\beta_1 + \beta_2 x_2.$

f (x_{1}, x_{2}) = β_{0} + β_{1} x_{1} + β_{2} x_{2} + β_{12} x_{1} x_{2}

$f(x_1,x_2) = \beta_0 + \beta_1 x_1 + \beta_2 x_2 + \beta_{12}x_1x_2$

gilt : Wenn wir es parallel zu einer der Koordinatenachsen schneiden, ist das Ergebnis immer eine Linie. (Die Oberfläche selbst ist jedoch nicht planar, außer wenn Tatsächlich hat sie überall eine negative Gaußsche Krümmung.) $\beta_{12}=0.$

Wenn sich unsere Hoffnung auf (a) oder (b) nicht erfüllt, können wir das Funktionsverhalten des ursprünglichen möglicherweise weiter ausdehnen , um Begriffe zweiter Ordnung oder höher aufzunehmen. Die Durchführung derselben Analyse zeigt, dass dadurch Begriffe der Form usw. in das Modell eingeführt werden. In diesem Sinne ist die Aufnahme eines (Produkt-) Interaktionsterms lediglich der erste und einfachste Schritt zur Modellierung nichtlinearer Beziehungen zwischen der Antwort und den Regressoren mithilfe von Polynomfunktionen. $\beta_i$ $x_1^2,$ $x_2^2,$ $x_1x_2^2,$ $x_1^2x_2,$

Schließlich zeigte John Tukey in seinem Lehrbuch EDA (Addison-Wesley 1977), wie dieser Ansatz weitaus allgemeiner durchgeführt werden kann. Nach dem ersten "erneuten Ausdrücken" (dh Anwenden geeigneter nichtlinearer Transformationen auf die Regressoren) und der Antwort ist es häufig der Fall, dass entweder Modell auf die transformierten Variablen oder, falls nicht, Modell kann leicht angepasst werden (unter Verwendung einer robusten Analyse von Residuen). Dies ermöglicht es, eine Vielzahl nichtlinearer Beziehungen als bedingt lineare Antworten auszudrücken und zu interpretieren. $(*)$ $(**)$

— whuber
quelle

Dies ist eine schöne detaillierte Antwort. Vielen Dank. Abgesehen davon sehe ich immer wieder Hinweise auf Tukeys Buch auf dieser Seite ... obwohl es so alt ist. Vielleicht ist es Zeit, es zu lesen.

— ChilliProject