Definition der gewichteten kleinsten Quadratgewichte: R lm Funktion vs.

Kann mir jemand sagen, warum ich durch Rgewichtete kleinste Quadrate und manuelle Lösung durch Matrixoperation unterschiedliche Ergebnisse erhalte ?

Insbesondere versuche ich, manuell zu lösen , wobei die Diagonalmatrix für Gewichte ist, die Datenmatrix ist, die Antwort ist Vektor. $\mathbf W \mathbf A\mathbf x=\mathbf W \mathbf b$ $\mathbf W$ $\mathbf A$ $\mathbf b$

Ich versuche, die Ergebnisse mit der R lmFunktion unter Verwendung des weightsArguments zu vergleichen .

— Haitao Du
quelle

Ich habe Tags bearbeitet: Dies war definitiv kein [Selbststudium]. Es geht auch nicht wirklich um GLS (sondern um einen ganz besonderen Fall), also habe ich auch diesen entfernt.

— Amöbe

Wie Sie aus den mathematischen Ausdrücken für Ihre Berechnungen ersehen können, erhalten Sie

((W A)^{'} (W A))^{- 1} ((W A)^{'} (W b)) = (A^{'} W^{2} A)^{- 1} (A^{'} W^{2} b) .

$((WA)^\prime (WA))^{-1} \; ((WA)^\prime (Wb)) = (A^\prime W^2 A)^{-1} (A^\prime W^2 b).$

Offensichtlich sind Ihre Gewichte , nicht . Daher sollten Sie Ihre Antwort mit der Ausgabe von vergleichen $W^2$ $W$

> lm(form, mtcars, weights=w^2)
Coefficients:
      wt        hp      disp  
14.12980   0.08391  -0.16446

Die Übereinstimmung ist perfekt (innerhalb des Gleitkommafehlers - verwendet intern Reinen numerisch stabileren Algorithmus.)

— whuber
quelle

Wir sprechen hier wohl nur von Software-Konventionen: Wenn die Software "Gewichte" erwartet, möchten Sie, dass Sie ihr oder ? Ich dachte, dies sei eine wertvolle Frage, da das Problem jedes statistische Paket betreffen könnte. Unabhängig von den Konventionen legt die kurze Analyse in dieser Antwort nahe, welche alternativen Interpretationen von "Gewichten" unter allen Umständen sinnvoll und experimentierwürdig sein könnten.

W

$W$

W^{2}

$W^2$

— whuber

Ja, ich finde es verwirrend, ich habe den Ausdruck aus Gilbert Strangs linearem Algebra-Buch Kapitel 8.6 erhalten, in dem er sagt, dass das gewichtete kleinste Quadrat nur eine Anpassung von zu

A x = b

$Ax=b$

W A x = W b

$WAx=Wb$

— Haitao Du

Strang ist richtig, aber er hat die pädagogische Ausrichtung rückwärts: Er beginnt eher mit der Antwort als mit dem Problem. Das Problem betrifft die Durchführung des Analogons eines Verfahrens der kleinsten Quadrate, wenn die Varianzen der Residuen bekannte, aber unterschiedliche Werte haben. Aus verschiedenen (aber einfachen) theoretischen Gründen sollten die Daten mit den inversen Varianzen gewichtet werden (manchmal als "Präzisionen" bezeichnet). Daraus kann man herausfinden, dass die Quadratwurzel der Gewichte sein muss.

W

$W$

— whuber