Intuition hinter in geschlossener Form von w in der linearen Regression

Die geschlossene Form von w in der linearen Regression kann wie folgt geschrieben werden

$\hat{w}=(X^TX)^{-1}X^Ty$

Wie können wir die Rolle von in dieser Gleichung intuitiv erklären ?$(X^TX)^{-1}$

Ich fand diese Beiträge besonders hilfreich:

Wie leite ich den Schätzer der kleinsten Quadrate für die multiple lineare Regression ab?

Beziehung zwischen SVD und PCA. Wie verwende ich SVD, um PCA durchzuführen?

http://www.math.miami.edu/~armstrong/210sp13/HW7notes.pdf

Wenn eine Matrix dann die Matrix eine definiert Projektion auf die Säule Raum . Intuitiv haben Sie ein überbestimmtes Gleichungssystem, möchten es aber dennoch verwenden, um eine lineare Abbildung , die die Zeilen von auf etwas in der Nähe der Werte , abbildet . Wir entscheiden uns also dafür, an das nächstgelegene Objekt zu zu senden , das als lineare Kombination Ihrer Merkmale (die Spalten von ) ausgedrückt werden kann . n × p X ( X T X ) - 1 X T X R p → R x i X y i i ∈ { 1 , … , n } X y $X$$n \times p$$X(X^TX)^{-1}X^T$$X$$\mathbb{R}^p \rightarrow \mathbb{R}$$x_i$$X$$y_i$$i\in \{1,\dots,n\}$$X$$y$$X$

Was die Interpretation von , habe ich noch keine erstaunliche Antwort. Ich weiß, dass Sie sich als die Kovarianzmatrix des Datensatzes vorstellen können. ( X T X $(X^TX)^{-1}$$(X^TX)$

Geometrischer Standpunkt

Ein geometrischer Gesichtspunkt kann wie die n-dimensionalen Vektoren und , die Punkte im n-dimensionalen Raum . Wobei sich auch in dem Unterraum , der von den Vektoren überspannt wird .X β V X β W x 1 , x 2 , ⋯ , x $y$$X\beta$$V$$X\hat\beta$$W$$x_1, x_2, \cdots, x_m$

Zwei Arten von Koordinaten

Für diesen Unterraum wir uns zwei verschiedene Arten von Koordinaten vorstellen :$W$

• Das$\boldsymbol{\beta}$ ist wie Koordinaten für einen regulären Koordinatenraum. Der Vektor im Raum ist die lineare Kombination der Vektoren$z$$W$$\mathbf{x_i}$ $$z = \boldsymbol{\beta_1} \mathbf{x_1} + \boldsymbol{\beta_2} \mathbf{x_1} + .... \boldsymbol{\beta_m} \mathbf{x_m}$$

• Die$\boldsymbol{\alpha}$ nicht Koordinaten in dem regulären Sinne, sondern sie haben einen Punkt im Subraum definieren . Jedes bezieht sich auf die senkrechten Projektionen auf die Vektoren . Wenn wir Einheitsvektoren (der Einfachheit halber), können die "Koordinaten" für einen Vektor ausgedrückt werden als:$W$$\alpha_i$$x_i$$x_i$$\alpha_i$$z$

  $$\alpha_i = \mathbf{x_i^T} \mathbf{z}$$

  und die Menge aller Koordinaten als:

Zuordnung zwischen den Koordinaten und$\boldsymbol{\alpha}$$\boldsymbol{\beta}$

Für der Ausdruck "Koordinaten" zu einer Konvertierung von Koordinaten in "Koordinaten"$\mathbf{z} = \mathbf{X}\boldsymbol{\beta}$$\alpha$$\beta$$\alpha$

Sie können sehen, dass ausdrückt, wie viel jedes auf das andere projiziert x i x $(\mathbf{X^T} \mathbf{X})_{ij}$$x_i$$x_j$

Dann kann die geometrische Interpretation von als Karte von Vektorprojektions- "Koordinaten" zu linearen Koordinaten . α $(\mathbf{X^T} \mathbf{X})^{-1}$$\boldsymbol{\alpha}$$\boldsymbol{\beta}$

Der Ausdruck gibt die Projektions- "Koordinaten" von und verwandelt sie in .y ( X T X ) - 1$\mathbf{X^Ty}$$\mathbf{y}$$(\mathbf{X^T} \mathbf{X})^{-1}$$\boldsymbol{\beta}$

Hinweis : Die Projektionskoordinaten von sind die gleichen wie die Projektionskoordinaten von da .y ( y - y ) ⊥ $\mathbf{y}$ $\mathbf{\hat{y}}$$(\mathbf{y-\hat{y}}) \perp \mathbf{X}$

Angenommen, Sie kennen die einfache lineare Regression: und ihre Lösung : β = c o v [ x i , y i

Es ist leicht zu erkennen, wie dem obigen Zähler entspricht und dem Nenner zugeordnet ist. Da es sich um Matrizen handelt, ist die Reihenfolge wichtig. ist die KxK-Matrix und ist der Kx1-Vektor. Daher lautet die Reihenfolge:X ' X X ' X X ' y ( X ' X ) - 1 X '$X'y$$X'X$$X'X$$X'y$$(X'X)^{-1}X'y$