Welche Bedeutung hat die Hutmatrix für die lineare Regression?

Welche Bedeutung hat die Hutmatrix für die Regressionsanalyse?$H=X(X^{\prime}X )^{-1}X^{\prime}$

Ist es nur zur einfacheren Berechnung?

Bei der Untersuchung der linearen Regression ist der grundlegende Ausgangspunkt der wobei und deterministisch. Nach dem Minimieren des Kriteriums der kleinsten Quadrate findet man einen Schätzer für , dh . Nach dem Einstecken des Schätzers in die Anfangsformel erhält man als lineares Modell des Datenerzeugungsprozesses. Jetzt kann man den Schätzer für ersetzen.$\textbf{y= XB + u} \quad$$\textbf{u} \sim N(0,\sigma^2 \boldsymbol I)$$\textbf{X}$$\widehat {\textbf{B} }$$\textbf{B}$$\widehat {\textbf{B}}= ( \textbf{X} ' \textbf{X})^{-1}\textbf{X} '\textbf{y}$$\widehat {\textbf{y}}=\textbf{X}\widehat {\textbf{B}}$$\widehat {\textbf{B}}$und erhält$\widehat {\textbf{y}}=\textbf{X}( \textbf{X} ' \textbf{X})^{-1}\textbf{X} '\textbf{y}.$

So ist tatsächlich eine Projektionsmatrix. Stellen Sie sich vor, Sie nehmen alle Variablen in . Die Variablen sind Vektoren und erstrecken sich über einen Raum. Wenn Sie also mit multiplizieren , projizieren Sie Ihre beobachteten Werte in auf den Raum, der von den Variablen in überspannt wird . Es gibt die Schätzungen für und das ist der Grund, warum es als Hutmatrix bezeichnet wird und warum es eine solche Bedeutung hat. Schließlich ist die lineare Regression nichts anderes als eine Projektion, und mit der Projektionsmatrix können wir nicht nur die Schätzungen für berechnen.$\textbf{H} = \textbf{X}( \textbf{X} ' \textbf{X})^{-1}\textbf{X} '$$\textbf{X}$$\textbf{H}$$\textbf{y}$$\textbf{y}$$\textbf{X}$$\textbf{y}$$\textbf{y}$aber auch für und kann zum Beispiel prüfen, ob es wirklich normal verteilt ist.$\textbf{u}$

Ich habe dieses schöne Bild im Internet gefunden und es visualisiert diese Projektion. Bitte beachten Sie, dass anstelle von . Darüber hinaus betont das Bild, dass der Vektor der Fehlerterme orthogonal zur Projektion ist und daher nicht mit den Schätzungen für korreliert.$\beta$$\textbf{B}$$\textbf{y}$

Die Hutmatrix ist aus mehreren Gründen sehr nützlich:

1. Anstatt , erhalten wir das wobei die Hutmatrix ist. Dies gibt uns, dass eine lineare Abbildung der beobachteten Werte ist.$\widehat{y}=Z\widehat{\beta}$$\widehat{y}=Py$$P$$\widehat{y}$
2. Aus der Hutmatrix ist es einfach, die Residuen zu berechnen . Wir sehen, dass .$P$$\widehat{\epsilon}$$\widehat{\epsilon}=y-\widehat{y}=y-Py=\left(I_n-P\right)y$

Es ist nichts weiter als die "nächste" Lösung für Ax = b zu finden, wobei b nicht im Spaltenraum von A liegt. Wir projizieren b auf den Spaltenraum und lösen nach Ax (hat) = p, wobei p die Projektion von b auf ist Spaltenraum.