Geometrische Interpretation des multiplen Korrelationskoeffizienten

Ich interessiere mich für die geometrische Bedeutung der Mehrfachkorrelation $R$ und des Bestimmungskoeffizienten $R^2$ in der Regression $y_i = \beta_1 + \beta_2 x_{2,i} + \dots + \beta_k x_{k,i} + \epsilon_i$ oder für die Vektorschreibweise ,

$$\mathbf{y} = \mathbf{X \beta} + \mathbf{\epsilon}$$

Hier ist die Designmatrix $\mathbf{X}$ hat $n$ Zeilen und $k$ Spalten, von denen die erste ist , $\mathbf{x}_1 = \mathbf{1}_n$ , ein Vektor von 1s Das entspricht dem intercept .$\beta_1$

Die Geometrie ist im dimensionalen Subjektraum interessanter als im k- dimensionalen variablen Raum. Definieren Sie die Hutmatrix:$n$$k$

$$\mathbf{H} = \mathbf{X \left(X^\top X \right)}^{-1} \mathbf{X}^\top$$

Dies ist eine orthogonale Projektion auf den Spaltenraum von , dh die Ebene durch den Ursprung, die von den k Vektoren aufgespannt wird, die jede Variable x i darstellen , deren erster Wert 1 n ist . Dann H den Vektor von beobachteten Antworten projiziert y auf sein „Schatten“ auf dem flachen, der Vektor der angepassten Werte y = H y , und wenn wir uns auf dem Weg des Vorsprungs wir den Vektor der Residuen siehe e = y - $\mathbf{X}$$k$$\mathbf{x}_i$$\mathbf{1}_n$$\mathbf{H}$$\mathbf{y}$$\mathbf{\hat{y}} = \mathbf{Hy}$$\mathbf{e} = \mathbf{y} - \mathbf{\hat{y}}$bildet die dritte Seite eines Dreiecks. Dies sollte uns zwei Wege zu einer geometrischen Interpretation von liefern:$R^2$

1. Das Quadrat der multiple Korrelationskoeffizient , der als die Korrelation zwischen definiert ist y und y . Dies wird geometrisch als der Cosinus eines Winkels angezeigt.$R$$\mathbf{y}$$\mathbf{\hat{y}}$
2. In Bezug auf die Längen der Vektoren gilt zum Beispiel: .$SS_\text{residual} = \sum_{i=1}^{n}e_i^2 = \|\mathbf{e}\|^2$

Ich würde mich freuen, einen kurzen Bericht zu sehen, der erklärt:

• Die feineren Details für (1) und (2),
• Warum (1) und (2) gleichwertig sind,
• Kurz gesagt, wie die geometrische Einsicht die grundlegenden Eigenschaften von R 2 sichtbar macht$R^2$ , zum Beispiel warum es auf 1 geht, wenn die Rauschvarianz auf 0 geht Bild.)

Ich schätze, dass dies einfacher ist, wenn die Variablen zuerst zentriert werden, wodurch der Abschnitt aus der Frage entfernt wird. In den meisten Lehrbuchkonten, die multiple Regression einführen, ist die Entwurfsmatrix jedoch so, wie ich es dargelegt habe. Natürlich ist es in Ordnung, wenn sich eine Exposition mit dem Raum befasst, der von den zentrierten Variablen umspannt wird, aber für einen Einblick in die lineare Algebra des Lehrbuchs wäre es sehr hilfreich, dies auf das zurückzubeziehen, was geometrisch in der unzentrierten Situation geschieht. Eine wirklich aufschlussreiche Antwort könnte erklären, was genau geometrisch zerfällt, wenn der Intercept-Term verworfen wird - dh wenn der Vektor $\mathbf{X}$$\mathbf{1}_n$wird aus dem Spannsatz entfernt. Ich glaube nicht, dass dieser letzte Punkt allein durch die Berücksichtigung der zentrierten Variablen angegangen werden kann.

Wenn es im Modell einen konstanten Term gibt, liegt im Spaltenraum von X (ebenso wie ˉ Y 1 n , was später nützlich sein wird). Der Einbau Y ist die orthogonale Projektion des beobachteten Y auf den flachen nach dieser Spalte Raum gebildet. Das heißt , der Vektor der Residuen e = y - y ist senkrecht zu dem flachen und damit zu 1 n . Wenn wir das Skalarprodukt betrachten, können wir sehen, dass ∑ n i = 1 e i = 0 ist , also die Komponenten von$\mathbf{1_n}$$\mathbf{X}$$\bar{Y}\mathbf{1_n}$$\mathbf{\hat{Y}}$$\mathbf{Y}$$\mathbf{e} = \mathbf{y} - \mathbf{\hat{y}}$$\mathbf{1_n}$$\sum_{i=1}^n e_i = 0$$\mathbf{e}$ muss die Summe Null sein. Da wir schließendaß Σ n i = 1 Y i = Σ n i = 1 ^ Y i , so daß beide Einbau und beobachteten Reaktionen Mittelwert haben ˉ Y .$Y_i = \hat{Y_i} + e_i$$\sum_{i=1}^n Y_i = \sum_{i=1}^n \hat{Y_i}$$\bar{Y}$

Die gestrichelten Linien im Diagramm repräsentieren und Y - ˉ Y 1 n , welche die sind zentriert Vektoren für die beobachteten und Einbau Antworten. Der Kosinus des Winkels θ zwischen diesen Vektoren wird daher die Korrelation sein , Y und Y , die per Definition ist die multiple Korrelationskoeffizient R . Das Dreieck dieser Vektoren mit dem Vektor der Residuen bilden ist rechtwinklige da Y - ˉ Y 1 n$\mathbf{Y} - \bar{Y}\mathbf{1_n}$$\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}$$\theta$$Y$$\hat{Y}$$R$$\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}$ liegt in den flachen , aber $\mathbf{e}$ist orthogonal dazu. Daher:

$$R = \cos(\theta) = \frac{\text{adj}}{\text{hyp}} = \frac{\|\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}\|}{\|\mathbf{Y} - \bar{Y}\mathbf{1_n}\|}$$

We could also apply Pythagoras to the triangle:

$$\|\mathbf{Y} - \bar{Y}\mathbf{1_n}\|^2 = \|\mathbf{Y} - \mathbf{\hat{Y}}\|^2 + \|\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}\|^2$$

Which may be more familiar as:

$$\sum_{i=1}^{n} (Y_i - \bar{Y})^2 = \sum_{i=1}^{n} (Y_i - \hat{Y}_i)^2 + \sum_{i=1}^{n} (\hat{Y}_i - \bar{Y})^2$$

This is the decomposition of the sums of squares, $SS_{\text{total}} = SS_{\text{residual}} + SS_{\text{regression}}$.

The standard definition for the coefficient of determination is:

$$R^2 = 1 - \frac{SS_{\text{residual}}}{SS_{\text{total}}} = 1 - \frac{\sum_{i=1}^n (y_i - \hat{y}_i)^2}{\sum_{i=1}^n (y_i - \bar{y})^2} = 1 - \frac{\|\mathbf{Y} - \mathbf{\hat{Y}}\|^2}{\|\mathbf{Y} - \bar{Y}\mathbf{1_n}\|^2}$$

When the sums of squares can be partitioned, it takes some straightforward algebra to show this is equivalent to the "proportion of variance explained" formulation,

$$R^2 = \frac{SS_{\text{regression}}}{SS_{\text{total}}} = \frac{\sum_{i=1}^n (\hat{y}_i - \bar{y})^2}{\sum_{i=1}^n (y_i - \bar{y})^2} = \frac{\|\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}\|^2}{\|\mathbf{Y} - \bar{Y}\mathbf{1_n}\|^2}$$

There is a geometric way of seeing this from the triangle, with minimal algebra. The definitional formula gives $R^2 = 1 - \sin^2(\theta)$ and with basic trigonometry we can simplify this to $\cos^2(\theta)$. This is the link between $R^2$ and $R$.

Note how vital it was for this analysis to have fitted an intercept term, so that $\mathbf{1_n}$ was in the column space. Without this, the residuals would not have summed to zero, and the mean of the fitted values would not have coincided with the mean of $Y$. In that case we couldn't have drawn the triangle; the sums of squares would not have decomposed in a Pythagorean manner; $R^2$ would not have had the frequently-quoted form $SS_{\text{reg}}/SS_{\text{total}}$ nor be the square of $R$. In this situation, some software (including R) uses a different formula for $R^2$ altogether.