Welche Bedeutung hat die Hutmatrix für die lineare Regression?


9

Welche Bedeutung hat die Hutmatrix für die Regressionsanalyse?H=X(XX)1X

Ist es nur zur einfacheren Berechnung?


Könnten Sie bitte genauer sein?
Steve S

@SteveS Eigentlich möchte ich wissen, warum wir eine Hutmatrix brauchen?
Benutzer 31466

Fragen Sie sich, warum wir einen speziellen Namen / ein spezielles Symbol (dh "Hutmatrix", " H ") für die Matrix benötigen, oder fragen Sie mehr nach der Bedeutung des Matrixprodukts auf der rechten Seite?
Steve S

Antworten:


14

Bei der Untersuchung der linearen Regression ist der grundlegende Ausgangspunkt der wobei und deterministisch. Nach dem Minimieren des Kriteriums der kleinsten Quadrate findet man einen Schätzer für , dh . Nach dem Einstecken des Schätzers in die Anfangsformel erhält man als lineares Modell des Datenerzeugungsprozesses. Jetzt kann man den Schätzer für ersetzen.y= XB + uuN(0,σ2I)XB^BB^=(XX)1Xyy^=XB^B^und erhälty^=X(XX)1Xy.

So ist tatsächlich eine Projektionsmatrix. Stellen Sie sich vor, Sie nehmen alle Variablen in . Die Variablen sind Vektoren und erstrecken sich über einen Raum. Wenn Sie also mit multiplizieren , projizieren Sie Ihre beobachteten Werte in auf den Raum, der von den Variablen in überspannt wird . Es gibt die Schätzungen für und das ist der Grund, warum es als Hutmatrix bezeichnet wird und warum es eine solche Bedeutung hat. Schließlich ist die lineare Regression nichts anderes als eine Projektion, und mit der Projektionsmatrix können wir nicht nur die Schätzungen für berechnen.H=X(XX)1XXHyyXyyaber auch für und kann zum Beispiel prüfen, ob es wirklich normal verteilt ist.u

Ich habe dieses schöne Bild im Internet gefunden und es visualisiert diese Projektion. Bitte beachten Sie, dass anstelle von . Darüber hinaus betont das Bild, dass der Vektor der Fehlerterme orthogonal zur Projektion ist und daher nicht mit den Schätzungen für korreliert.βBy

Geben Sie hier die Bildbeschreibung ein


5

Die Hutmatrix ist aus mehreren Gründen sehr nützlich:

  1. Anstatt , erhalten wir das wobei die Hutmatrix ist. Dies gibt uns, dass eine lineare Abbildung der beobachteten Werte ist.y^=Zβ^y^=PyPy^
  2. Aus der Hutmatrix ist es einfach, die Residuen zu berechnen . Wir sehen, dass .Pϵ^ϵ^=yy^=yPy=(InP)y

0

Es ist nichts weiter als die "nächste" Lösung für Ax = b zu finden, wobei b nicht im Spaltenraum von A liegt. Wir projizieren b auf den Spaltenraum und lösen nach Ax (hat) = p, wobei p die Projektion von b auf ist Spaltenraum.


1
All dies kann durchgeführt werden, ohne jemals berechnen . H
whuber
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.