Gibt es eine elegante / aufschlussreiche Möglichkeit, diese lineare Regressionsidentität für mehrere zu verstehen ?

Bei der linearen Regression bin ich auf ein erfreuliches Ergebnis gestoßen, wenn wir zum Modell passen

E [Y] = β_{1} X_{1} + β_{2} X_{2} + c,

$E[Y] = \beta_1 X_1 + \beta_2 X_2 + c,$

Wenn wir dann die Daten , und standardisieren und , $Y$ $X_1$ $X_2$

R^{2} = C o r (Y, X_{1}) β_{1} + C o r (Y, X_{2}) β_{2} .

$R^2 = \mathrm{Cor}(Y,X_1) \beta_1 + \mathrm{Cor}(Y, X_2) \beta_2.$

Dies fühlt sich für mich wie eine 2-Variablen-Version von für Regression an, was erfreulich ist. $R^2 = \mathrm{Cor}(Y,X)^2$ $y=mx+c$

Aber der einzige Beweis, den ich kenne, ist ohnehin nicht konstruktiv oder aufschlussreich (siehe unten), und dennoch scheint es leicht verständlich zu sein, ihn anzusehen.

Beispielgedanken:

Die Parameter und geben uns den 'Anteil' von und in , und so nehmen wir die jeweiligen Anteile ihrer Korrelationen ... $\beta_1$ $\beta_2$ $X_1$ $X_2$ $Y$
Die s sind Teilkorrelationen, ist die quadratische Mehrfachkorrelation ... Korrelationen multipliziert mit Teilkorrelationen ... $\beta$ $R^2$
Wenn wir die orthogonalisieren zuerst , dann wird s sein ... ist dieses Ergebnis einer gewissen geometrischen Sinn? $\beta$ $\mathrm{Cov}/\mathrm{Var}$

Keiner dieser Fäden scheint für mich irgendwohin zu führen. Kann jemand eine klare Erklärung geben, wie man dieses Ergebnis versteht.

Unbefriedigender Beweis

R^{2} = \frac{S S_{r e g}}{S S_{T o t}} = \frac{S S_{r e g}}{N} = ⟨ (β_{1} X_{1} + β_{2} X_{2})^{2} ⟩ = ⟨ β_{1}^{2} X_{1}^{2} ⟩ + ⟨ β_{2}^{2} X_{2}^{2} ⟩ + 2 ⟨ β_{1} β_{2} X_{1} X_{2} ⟩

$\begin{equation} R^2 = \frac{SS_{reg}}{SS_{Tot}} = \frac{SS_{reg}}{N} = \langle(\beta_1 X_1 + \beta_2 X_2)^2\rangle \\= \langle\beta_1^2 X_1^2\rangle + \langle\beta_2^2 X_2^2\rangle + 2\langle\beta_1\beta_2X_1X_2\rangle \end{equation}$

und

C o r (Y, X_{1}) β_{1} + C o r (Y, X_{2}) β_{2} = ⟨ Y X_{1} ⟩ β_{1} + ⟨ Y X_{2} ⟩ β_{2} = ⟨ β_{1} X_{1}^{2} + β_{2} X_{1} X_{2} ⟩ β_{1} + ⟨ β_{1} X_{1} X_{2} + β_{2} X_{2}^{2} ⟩ β_{2} = ⟨ β_{1}^{2} X_{1}^{2} ⟩ + ⟨ β_{2}^{2} X_{2}^{2} ⟩ + 2 ⟨ β_{1} β_{2} X_{1} X_{2} ⟩

$\begin{equation} \mathrm{Cor}(Y,X_1) \beta_1 + \mathrm{Cor}(Y, X_2) \beta_2 = \langle YX_1\rangle\beta_1 + \langle Y X_2\rangle \beta_2\\ =\langle \beta_1 X_1^2 + \beta_2 X_1 X_2\rangle \beta_1 + \langle \beta_1 X_1 X_2 + \beta_2 X_2^2\rangle \beta_2\\ =\langle \beta_1^2 X_1^2\rangle + \langle \beta_2^2 X_2^2 \rangle + 2\langle \beta_1 \beta_2 X_1 X_2\rangle \end{equation}$

QED.

— Korone
quelle

Sie müssen standardisierte Variablen verwenden, da sonst nicht garantiert wird, dass Ihre Formel für zwischen und . Obwohl diese Annahme in Ihrem Beweis zum Ausdruck kommt, wäre es hilfreich, sie zu Beginn explizit zu machen. Ich bin verwirrt darüber, was Sie auch wirklich tun: Ihr eindeutig eine Funktion des Modells allein - hat nichts mit den Daten zu tun - und Sie erwähnen zunächst, dass Sie das Modell an etwas "angepasst" haben .

R^{2}

$R^2$

0

$0$

1

$1$

R^{2}

$R^2$

— whuber

Gilt Ihr Top-Ergebnis nicht nur, wenn X1 und X2 perfekt unkorreliert sind?

— Gung - Reinstate Monica

@gung Ich glaube nicht - der Beweis im Grunde scheint zu sagen, dass es trotzdem funktioniert. Dieses Ergebnis überrascht mich auch und möchte daher einen "klaren Beweis für das Verständnis"

— Korone,

@whuber Ich bin mir nicht sicher, was du mit "Funktion des Modells allein" meinst? Ich meine einfach das für einfaches OLS mit zwei Prädikatorvariablen. Das heißt, dies ist die 2-variable Version von

R^{2}

$R^2$

R^{2} = C o r (Y, X)^{2}

$R^2 = Cor(Y,X)^2$

— Korone

Ich kann nicht sagen, ob Ihr die Parameter oder die Schätzungen sind.

β_{i}

$\beta_i$

— whuber

Antworten:

Die Hutmatrix ist idempotent.

(Dies ist eine linear-algebraische Methode, um festzustellen, dass OLS eine orthogonale Projektion des Antwortvektors auf den von den Variablen überspannten Raum ist.)

Erinnern Sie sich per Definition daran

R^{2} = \frac{E S S}{T S S}

$R^2 = \frac{ESS}{TSS}$

E S S = (\hat{Y})^{'} \hat{Y}

$ESS = (\hat Y)^\prime \hat Y$

ist die Summe der Quadrate der (zentrierten) vorhergesagten Werte und

T S S = Y^{'} Y

$TSS = Y^\prime Y$

ist die Summe der Quadrate der (zentrierten) Antwortwerte. Die vorherige Standardisierung von auf die Einheitsvarianz impliziert ebenfalls $Y$

T S S = Y^{'} Y = n .

$TSS = Y^\prime Y = n.$

Denken Sie auch daran, dass die geschätzten Koeffizienten gegeben sind durch

\hat{β} = (X^{'} X)^{-} X^{'} Y,

$\hat\beta = (X^\prime X)^{-} X^\prime Y,$

woher

\hat{Y} = X \hat{β} = X (X^{'} X)^{-} X^{'} Y = H Y

$\hat Y = X \hat \beta = X (X^\prime X)^{-} X^\prime Y = H Y$

wobei die „hat matrix“ Bewirkung der Projektion ist auf seinen kleinsten Quadrate . Es ist symmetrisch (was sich aus seiner Form ergibt) und idempotent . Hier ist ein Beweis für Letzteres für diejenigen, die mit diesem Ergebnis nicht vertraut sind. Es werden nur Klammern gemischt: $H$ $Y$ $\hat Y$

\begin{aligned} H^{'} H = H H & = (X (X^{'} X)^{-} X^{'}) (X (X^{'} X)^{-} X^{'}) \\ = X (X^{'} X)^{-} (X^{'} X) (X^{'} X)^{-} X^{'} \\ = X (X^{'} X)^{-} X^{'} = H . \end{aligned}

$\eqalign{H^\prime H = H H &=\left( X (X^\prime X)^{-} X^\prime\right)\left(X (X^\prime X)^{-} X^\prime \right) \\ &= X (X^\prime X)^{-} \left(X^\prime X \right) (X^\prime X)^{-} X^\prime \\ &= X (X^\prime X)^{-} X^\prime = H. }$

Deshalb

R^{2} = \frac{E S S}{T S S} = \frac{1}{n} (\hat{Y})^{'} \hat{Y} = \frac{1}{n} Y^{'} H^{'} H Y = \frac{1}{n} Y^{'} H Y = (\frac{1}{n} Y^{'} X) \hat{β} .

$R^2 = \frac{ESS}{TSS} = \frac{1}{n} (\hat Y)^\prime \hat Y = \frac{1}{n}Y^\prime H^\prime H Y = \frac{1}{n}Y^\prime H Y = \left(\frac{1}{n}Y^\prime X\right) \hat \beta.$

Der entscheidende Zug in der Mitte nutzte die Idempotenz der Hutmatrix. Die rechte Seite ist Ihre Zauberformel, weil der (Zeilen-) Vektor der Korrelationskoeffizienten zwischen und den Spalten von . $\frac{1}{n}Y^\prime X$ $Y$ $X$

— whuber
quelle

(+1) Sehr schöne Zusammenfassung. Aber warum ^{-}statt ^{-1}überall?

— Amöbe

@amoeba Es ist eine verallgemeinerte Umkehrung , um die Fälle zu behandeln, in denen singulär sein kann.

X^{'} X

$X^\prime X$

— whuber

@amoeba Penrose verwendete in seiner Originalarbeit ( A Generalized Inverse for Matrices , 1954) die Notation . Ich mag weder das noch die -Notation, weil sie zu leicht mit Konjugaten, Transponierten oder konjugierten Transponierten verwechselt werden können, während die -Notation auf eine Umkehrung hinweist, an die der Gelegenheitsleser denken kann es als wenn sie wollen. Du bist einfach ein zu guter Leser - aber danke, dass du es bemerkt hast.

A^{†}

$A^\dagger$

A^{+}

$A^{+}$

A^{-}

$A^{-}$

A^{- 1}

$A^{-1}$

— whuber

Interessante und überzeugende Motivation, aber darf ich fragen, ob diese Notation gelegentlich an anderer Stelle verwendet wird oder ob es Ihre eigene Erfindung ist?

— Amöbe

@amoeba: Ja, diese Notation erscheint an anderer Stelle, auch in den klassischen Texten von Graybill zum linearen Modell.

— Kardinal

Die folgenden drei Formeln sind bekannt und finden sich in vielen Büchern zur linearen Regression. Es ist nicht schwer, sie abzuleiten.

$\beta_1= \frac {r_{YX_1}-r_{YX_2}r_{X_1X_2}} {\sqrt{1-r_{X_1X_2}^2}}$

$\beta_2= \frac {r_{YX_2}-r_{YX_1}r_{X_1X_2}} {\sqrt{1-r_{X_1X_2}^2}}$

$R^2= \frac {r_{YX_1}^2+r_{YX_2}^2-2 r_{YX_1}r_{YX_2}r_{X_1X_2}} {\sqrt{1-r_{X_1X_2}^2}}$

Wenn Sie die beiden Betas in Ihre Gleichung , erhalten Sie die obige Formel für das R-Quadrat. $R^2 = r_{YX_1} \beta_1 + r_{YX_2} \beta_2$

Hier ist eine geometrische "Einsicht". Unten sehen Sie zwei Bilder, die die Regression von um und . Diese Art der Darstellung wird als Variablen als Vektoren im Subjektraum bezeichnet (bitte lesen Sie , worum es geht). Die Bilder werden gezeichnet, nachdem alle drei Variablen zentriert wurden, und so (1) die Länge jedes Vektors = st. Abweichung der jeweiligen Variablen und (2) Winkel (ihr Kosinus) zwischen jeweils zwei Vektoren = Korrelation zwischen den jeweiligen Variablen. $Y$ $X_1$ $X_2$

Geben Sie hier die Bildbeschreibung ein

$\hat{Y}$ ist die Regressionsvorhersage (orthogonale Projektion von auf "Ebene X"); ist der Fehlerterm; multipler Korrelationskoeffizient. $Y$ $e$ $cos \angle{Y \hat{Y}}={|\hat Y|}/|Y|$

Das linke Bild zeigt die Versatzkoordinaten von für die Variablen und . Wir wissen, dass solche Koordinaten die Regressionskoeffizienten in Beziehung setzen. Die Koordinaten sind nämlich: und . $\hat{Y}$ $X_1$ $X_2$ $b_1|X_1|=b_1\sigma_{X_1}$ $b_2|X_2|=b_2\sigma_{X_2}$

Das rechte Bild zeigt die entsprechenden senkrechten Koordinaten . Wir wissen, dass solche Koordinaten die Korrelationskoeffizienten nullter Ordnung in Beziehung setzen (dies sind Cosinus orthogonaler Projektionen). Wenn die Korrelation zwischen und und die Korrelation zwischen und dann ist die Koordinate . Ebenso gilt für die andere Koordinate . $r_1$ $Y$ $X_1$ $r_1^*$ $\hat Y$ $X_1$ $r_1|Y|=r_1\sigma_{Y} = r_1^*|\hat{Y}|=r_1^*\sigma_{\hat{Y}}$ $r_2|Y|=r_2\sigma_{Y} = r_2^*|\hat{Y}|=r_2^*\sigma_{\hat{Y}}$

Bisher waren es allgemeine Erklärungen der linearen Regressionsvektordarstellung. Nun wenden wir uns der Aufgabe zu, um zu zeigen, wie sie zu . $R^2 = r_1 \beta_1 + r_2 \beta_2$

Erinnern Sie sich zunächst daran, dass @Corone in ihrer Frage die Bedingung aufgestellt hat, dass der Ausdruck wahr ist, wenn alle drei Variablen standardisiert sind, dh nicht nur zentriert, sondern auch auf Varianz 1 skaliert sind. Dann (dh impliziert , um die "Arbeitsteile" der Vektoren zu sein) Wir haben Koordinaten gleich: ; ; ; ; sowie. Zeichnen Sie unter diesen Bedingungen nur die "Ebene X" der obigen Bilder neu: $|X_1|=|X_2|=|Y|=1$ $b_1|X_1|=\beta_1$ $b_2|X_2|=\beta_2$ $r_1|Y|=r_1$ $r_2|Y|=r_2$ $R=|\hat Y|/|Y|=|\hat Y|$

Geben Sie hier die Bildbeschreibung ein

Auf dem Bild haben wir ein Paar von senkrechten Koordinaten und ein Paar von Schrägstellungskoordinaten desselben Vektors der Länge . Es gibt eine allgemeine Regel, um senkrechte Koordinaten von schrägen (oder zurück) zu erhalten: , wobei eine Matrix von senkrechten Koordinaten ist ; ist die gleich große Matrix von Schrägstrichen; und sind die symmetrische Winkelmatrix (Cosinus) zwischen den nichtorthogonalen Achsen. $\hat Y$ $R$ $\bf P = S C$ $\bf P$ points X axes $\bf S$ $\bf C$ axes X axes

$X_1$ und sind in unserem Fall die Achsen, wobei der Kosinus zwischen ihnen ist. Also, und . $X_2$ $r_{12}$ $r_1 = \beta_1 + \beta_2 r_{12}$ $r_2 = \beta_1 r_{12} + \beta_2$

Ersetzen Sie diese s über ausgedrückt s in der @ Corone Aussage , und Sie bekommen , dass , - was wahr ist , denn genau so wird eine Diagonale eines Parallelogramms (auf dem Bild getönt) über seine benachbarten Seiten ausgedrückt (Menge ist das Skalarprodukt). $r$ $\beta$ $R^2 = r_1 \beta_1 + r_2 \beta_2$ $R^2 = \beta_1^2 + \beta_2^2 + 2\beta_1\beta_2r_{12}$ $\beta_1\beta_2r_{12}$

Dasselbe gilt für eine beliebige Anzahl von Prädiktoren X. Leider ist es unmöglich, mit vielen Prädiktoren gleiche Bilder zu zeichnen.

— ttnphns
quelle

+1 schön zu sehen, dass es auch so aufgebaut ist, aber das bringt nicht so viel Einsicht im Vergleich zu Whubers Antwort

— Korone

@Corone, ich habe einige "Einblicke" hinzugefügt, die Sie nehmen könnten.

— ttnphns

+1 Wirklich cool (nach dem Update). Ich dachte, dass das Aufrufen der "allgemeinen Regel" für das Konvertieren zwischen Koordinaten ein wenig übertrieben ist (und für mich nur verwirrend war); zu sehen, dass zB man sich nur an die Definition des Kosinus erinnern und eines der rechtwinkligen Dreiecke betrachten.

r_{1} = β_{1} + β_{2} r_{12}

$r_1 = \beta_1 + \beta_2 r_{12}$

— Amöbe

Wirklich coole Bearbeitung, geschaltet angenommen.

— Korone