Lineare Regression: * Warum * können Sie Quadratsummen aufteilen?

9

Dieser Beitrag bezieht sich auf ein bivariates lineares Regressionsmodell, . Ich habe immer die Aufteilung der Gesamtsumme der Quadrate (SSTO) in die Summe der Quadrate für Fehler (SSE) und die Summe der Quadrate für das Modell (SSR) auf Glauben genommen, aber als ich anfing, wirklich darüber nachzudenken, verstehe ich nicht warum es funktioniert ... $Y_i = \beta_0 + \beta_1x_i$

Der Teil I do verstehen:

$y_i$ : Ein beobachteter Wert von y

$\bar{y}$ : Der Mittelwert aller beobachteten s $y_i$

$\hat{y}_i$ : Der angepasste / vorhergesagte Wert von y für das x einer gegebenen Beobachtung

$y_i - \hat{y}_i$ : Rest / Fehler (wenn quadriert und für alle Beobachtungen addiert, ist dies SSE)

$\hat{y}_i - \bar{y}$ : Wie stark sich der Modellanpassungswert vom Mittelwert unterscheidet (wenn er für alle Beobachtungen quadriert und addiert wird, ist dies SSR).

$y_i - \bar{y}$ : Wie stark sich ein beobachteter Wert vom Mittelwert unterscheidet (wenn er für alle Beobachtungen addiert und addiert wird, ist dies SSTO).

Ich kann verstehen, warum für eine einzelne Beobachtung, ohne etwas zu quadrieren, . Und ich kann verstehen, warum, wenn Sie Dinge über alle Beobachtungen addieren möchten, Sie sie quadrieren müssen, oder sie addieren sich zu 0. $(y_i - \bar{y}) = (\hat{y}_i - \bar{y}) + (y_i - \hat{y}_i)$

Der Teil, den ich nicht verstehe, ist warum (zB SSTO = SSR + SSE). Es scheint, dass wenn Sie eine Situation haben, in der , dann , nicht . Warum ist das hier nicht der Fall? $(y_i - \bar{y})^2 = (\hat{y}_i - \bar{y})^2 + (y_i - \hat{y}_i)^2$ $A = B + C$ $A^2 = B^2 + 2BC + C^2$ $A^2 = B^2 + C^2$

regression sums-of-squares orthogonal

— Bluemouse
quelle

5

Sie haben die Summe in Ihrem letzten Absatz weggelassen. SST = SSR + SSE ist eine Summe über , aber Ihre Gleichheit, die Sie unmittelbar zuvor geschrieben haben, ist ohne das dortige Summationszeichen nicht wahr.

i

$i$

— Glen_b -Reinstate Monica

In Ihrem letzten Absatz möchten Sie (dh SSTO = SSR + SSE) nicht (z. B. SSTO = SSR + SSE). "eg" ist eine Abkürzung für die lateinische Phrase " exempli gratia " oder "zum Beispiel" im Englischen. "ie" ist eine Abkürzung für " id est " und kann auf Englisch als "das heißt" gelesen werden.

— Matthew Gunn

9

Es scheint, dass wenn Sie eine Situation haben, in der , dann , nicht . Warum ist das hier nicht der Fall? $A = B + C$ $A^2 = B^2 + 2BC + C^2$ $A^2 = B^2 + C^2$

Konzeptionell ist die Idee, dass weil und orthogonal sind (dh senkrecht sind). $BC = 0$ $B$ $C$

Im Zusammenhang mit der linearen Regression sind die Residuen orthogonal zur erniedrigten Prognose . Die Vorhersage aus der linearen Regression erzeugt eine orthogonale Zerlegung von in einem ähnlichen Sinne wie eine orthogonale Zerlegung ist. $\epsilon_i = y_i - \hat{y}_i$ $\hat{y}_i - \bar{y}$ $\mathbf{y}$ $(3,4) = (3,0) + (0,4)$

Lineare Algebra-Version:

Lassen:

z = [\begin{matrix} y_{1} - \bar{y} \\ y_{2} - \bar{y} \\ \dots \\ y_{n} - \bar{y} \end{matrix}] \hat{z} = [\begin{matrix} {\hat{y}}_{1} - \bar{y} \\ {\hat{y}}_{2} - \bar{y} \\ \dots \\ {\hat{y}}_{n} - \bar{y} \end{matrix}] ϵ = [\begin{matrix} y_{1} - {\hat{y}}_{1} \\ y_{2} - {\hat{y}}_{2} \\ \dots \\ y_{n} - {\hat{y}}_{n} \end{matrix}] = z - \hat{z}

$\mathbf{z} = \begin{bmatrix} y_1 - \bar{y} \\ y_2 - \bar{y}\\ \ldots \\ y_n - \bar{y} \end{bmatrix} \quad \quad \mathbf{\hat{z}} = \begin{bmatrix} \hat{y}_1 - \bar{y} \\ \hat{y}_2 - \bar{y} \\ \ldots \\ \hat{y}_n - \bar{y} \end{bmatrix} \quad \quad \boldsymbol{\epsilon} = \begin{bmatrix} y_1 - \hat{y}_1 \\ y_2 - \hat{y}_2 \\ \ldots \\ y_n - \hat{y}_n \end{bmatrix} = \mathbf{z} - \hat{\mathbf{z}}$

Die lineare Regression (mit eingeschlossener Konstante) zerlegt in die Summe zweier Vektoren: eine Vorhersage und ein Residuum $\mathbf{z}$ $\hat{\mathbf{z}}$ $\boldsymbol{\epsilon}$

z = \hat{z} + ϵ

$\mathbf{z} = \hat{\mathbf{z}} + \boldsymbol{\epsilon}$

Lassen Sie bezeichnet das Punktprodukt . (Im Allgemeinen kann das innere Produkt .) $\langle .,. \rangle$ $\langle X,Y \rangle$ $E[XY]$

\begin{aligned} ⟨ z, z ⟩ & = ⟨ \hat{z} + ϵ, \hat{z} + ϵ ⟩ \\ = ⟨ \hat{z}, \hat{z} ⟩ + 2 ⟨ \hat{z}, ϵ ⟩ + ⟨ ϵ, ϵ ⟩ \\ = ⟨ \hat{z}, \hat{z} ⟩ + ⟨ ϵ, ϵ ⟩ \end{aligned}

$\begin{align*} \langle \mathbf{z} , \mathbf{z} \rangle &= \langle \hat{\mathbf{z}} + \boldsymbol{\epsilon}, \hat{\mathbf{z}} + \boldsymbol{\epsilon} \rangle \\ &= \langle \hat{\mathbf{z}}, \hat{\mathbf{z}} \rangle + 2 \langle \hat{\mathbf{z}},\boldsymbol{\epsilon} \rangle + \langle \boldsymbol{\epsilon},\boldsymbol{\epsilon} \rangle \\ &= \langle \hat{\mathbf{z}}, \hat{\mathbf{z}} \rangle + \langle \boldsymbol{\epsilon},\boldsymbol{\epsilon} \rangle \end{align*}$

Wo die letzte Zeile aus der Tatsache folgt, dass (dh das und sind orthogonal). Sie können beweisen, dass und orthogonal sind, basierend darauf, wie die gewöhnliche Regression der kleinsten Quadrate konstruiert . $\langle \hat{\mathbf{z}},\boldsymbol{\epsilon} \rangle = 0$ $\hat{\mathbf{z}}$ $\boldsymbol{\epsilon} = \mathbf{z}- \hat{\mathbf{z}}$ $\hat{\mathbf{z}}$ $\boldsymbol{\epsilon}$ $\hat{\mathbf{z}}$

$\hat{\mathbf{z}}$ ist die lineare Projektion von auf den Unterraum, der durch die lineare Spanne der Regressoren , usw. definiert ist Das verbleibende ist orthogonal zu diesem gesamten Unterraum, daher ist (das in der Spanne von , usw. liegt) orthogonal zu . $\mathbf{z}$ $\mathbf{x}_1$ $\mathbf{x}_2$ $\boldsymbol{\epsilon}$ $\hat{\mathbf{z}}$ $\mathbf{x}_1$ $\mathbf{x}_2$ $\boldsymbol{\epsilon}$

Beachten Sie, dass, wie ich als Punktprodukt definiert habe, ist einfach eine andere Schreibweise (dh SSTO = SSR + SSE) $\langle .,.\rangle$ $\langle \mathbf{z} , \mathbf{z} \rangle = \langle \hat{\mathbf{z}}, \hat{\mathbf{z}} \rangle + \langle \boldsymbol{\epsilon},\boldsymbol{\epsilon} \rangle$ $\sum_i (y_i - \bar{y})^2 = \sum_i (\hat{y}_i - \bar{y})^2 + \sum_i (y_i - \hat{y}_i)^2$

— Matthew Gunn
quelle

8

Der springende Punkt zeigt, dass bestimmte Vektoren orthogonal sind und dann den Satz von Pythagoras verwenden.

Betrachten wir die multivariate lineare Regression . Wir wissen, dass der OLS-Schätzer . Betrachten Sie nun die Schätzung $Y = X\beta + \epsilon$ $\hat{\beta} = (X^tX)^{-1}X^tY$

$\hat{Y} = X\hat{\beta} = X(X^tX)^{-1}X^tY = HY$ (H-Matrix wird auch als "Hut" -Matrix bezeichnet)

wobei eine orthogonale Projektionsmatrix von Y auf . Jetzt haben wir $H$ $S(X)$

$Y - \hat{Y} = Y - HY = (I - H)Y$

wobei eine Projektionsmatrix auf das orthogonale Komplement von ist, das . Somit wissen wir, dass und orthogonal sind. $(I-H)$ $S(X)$ $S^{\bot}(X)$ $Y-\hat{Y}$ $\hat{Y}$

Betrachten Sie nun ein Untermodell $Y = X_0\beta_0 + \epsilon$

wobei und ähnlich haben wir den OLS-Schätzer und schätzen und mit der Projektionsmatrix auf . In haben wir, dass und orthogonal sind. Und nun $X = [X_0 | X_1 ]$ $\hat{\beta_0}$ $\hat{Y_0}$ $H_0$ $S(X_0)$ $Y - \hat{Y_0}$ $\hat{Y_0}$

$\hat{Y} - \hat{Y_0} = HY - H_0Y = HY - H_0HY = (I - H_0)HY$

wobei wiederum eine orthogonale Projektionsmatrix auf das Komplement von ist, das . Wir haben also die Orthogonalität von und . Am Ende haben wir es also $(I-H_0)$ $S(X_0)$ $S^{\bot}(X_0)$ $\hat{Y} - \hat{Y_0}$ $\hat{Y_0}$

$||Y - \hat{Y}||^2 = ||Y||^2 - ||\hat{Y}||^2 = ||Y - \hat{Y_0}||^2 + ||\hat{Y_0}||^2 - ||\hat{Y} - \hat{Y_0}||^2 - ||\hat{Y_0}||^2$

und schließlich $||Y - \hat{Y_0}||^2 = ||Y - \hat{Y}||^2 + ||\hat{Y} - \hat{Y_0}||^2$

Schließlich ist der Mittelwert einfach der wenn das Nullmodell . $\bar{Y}$ $\hat{Y_0}$ $Y = \beta_0 + e$

— Łukasz Grad
quelle

Vielen Dank für Ihre Antwort! Was ist S () (wie in S (X) in Ihrem Beitrag)?

— Bluemouse

S (X)

$S(X)$ ist ein Unterraum, der durch die Spalten der Matrix

X

$X$

— Łukasz Grad