Ist der Rest e ein Schätzer des Fehlers ?

Diese Frage ist in einem anderen Thread aufgetaucht, den ich gestartet habe, also dachte ich, ich würde mehr Meinungen von Leuten dazu bekommen. Meine Frage ist

Ist der Rest e ein Schätzer des Fehlers ?$\epsilon$

Der Grund, den ich frage, ist der folgende. In OLS ist die Varianz der Residuen als Varianz der Regression bekannt (wobei RSS die Restsumme der Quadrate ist). In ähnlicher Weise ist die Quadratwurzel dieser Varianz, , der Standardfehler der Regression. Angesichts der Tatsache, dass die Quadratwurzel der Varianz ein Standardfehler ist, muss dies bedeuten, dass diese Varianz die Varianz eines Schätzers ist. Wir wissen bereits, dass es die Varianz der Residuen ist, daher ist das Residuum ein Schätzer? (Ich nehme von )$\frac{\text{RSS}}{(n - K )}$$\sqrt\frac{\text{RSS}}{(n - K )}$$\frac{\text{RSS}}{(n - K )}$$\epsilon$

Gedanken??

Sicherlich sind die Residuen eine Art Schätzer von (um klar zu sein, die Definition des Residuums ist der Schätzer, das beobachtete Residuum ist eine Schätzung). Wenn das Modell korrekt ist, kann dies manchmal eine ziemlich gute Schätzung sein.$\epsilon$

Tatsächlich

$e = y - \hat y = X\beta + \epsilon - X(X'X)^{-1} X'(X\beta + \epsilon) = (I - H)\epsilon$ ,

Dabei ist die (weil sie den Hut auf' ) - manchmal auch als Projektionsmatrix bezeichnet.$H = X(X'X)^{-1} X'$$y$

http://en.wikipedia.org/wiki/Hat_matrix

Das heißt, die sind jeweils eine lineare Kombination der ; Wenn relativ zu ziemlich groß ist (wenn relativ zu I 'klein' ist), dann liegt der größte Teil des Gewichts auf dem error (dies ist jedoch häufig nicht der Fall).$e$$\epsilon$$1-h_{ii}$$\sum_{j\neq i}h_{ij}$$H$$i^\textrm{th}$

Beachten Sie, dass die gleiche Erwartung und Varianz wie und wenn die Elemente von in der gerade beschriebenen Weise klein sind , in hohem Maße damit korreliert werden - in der Tat Wenn ich meine Algebra richtig gemacht habe, ist die Korrelation zwischen und tatsächlich: .$e_i/\sqrt{1-h_{ii}}$$\epsilon_i$ $H$ $e_i$$\epsilon_i$$\text{corr}(e_i,\epsilon_i) = \sqrt{1-h_{ii}}$