Alternative Methode zur Ableitung von OLS-Koeffizienten

In einer anderen Frage von mir verwendete ein Antwortender die folgende Ableitung des OLS-Koeffizienten:

Wir haben ein Modell:
$Y = X_{1} β + X_{2} β_{2} + Z γ + ε,$ $Y = X_1 \beta + X_2 \beta_2 + Z \gamma + \varepsilon,$ wobei unbeobachtet ist. Dann haben wir: wobei und . $Z$ $plim {\hat{β}}_{1} = β_{1} + γ \frac{C o v (X_{1}^{*}, Z)}{V a r (X_{1}^{*})} = β_{1},$ $\text{plim}\, \hat \beta_{1} = \beta_1 + \gamma \frac{Cov(X_1^*, Z)}{Var(X_1^*)} = \beta_1,$ $X_1^* = M_2 X_1$ $M_2 = [I - X_2(X_2'X_2)^{-1}X_2']$

Dies sieht anders aus als das übliche , das ich in Econometrics gesehen habe. Gibt es eine explizitere Darstellung dieser Ableitung? Gibt es einen Namen für die Matrix? $\beta = (X'X)^{-1}X'Y$ $M_2$

econometrics regression

— Heisenberg
quelle

Ich bin mir ziemlich sicher, dass es in Hansens Vorlesungsunterlagen beschrieben ist, aber ich habe sie momentan nicht zur Hand.

— FooBar

Die Matrix ist die Matrix "Vernichter" oder "Restmacher", die der Matrix . Es wird "Vernichter" genannt, weil ( natürlich für seine eigene Matrix). Wird "Restmacher" genannt , weil , in der Regression . $\mathbf M = \mathbf I-\mathbf X(\mathbf X'\mathbf X)^{-1}\mathbf X'$ $\mathbf X$ $\mathbf M\mathbf X =0$ $X$ $\mathbf M \mathbf y =\mathbf {\hat e}$ $\mathbf y = \mathbf X \beta + \mathbf e$

Es ist eine symmetrische und idempotente Matrix. Es wird im Beweis des Gauß-Markov-Theorems verwendet.

Es wird auch im Frisch-Waugh-Lovell-Theorem verwendet , aus dem man Ergebnisse für die "partitionierte Regression" erhalten kann, die besagt, dass im Modell (in Matrixform)

y = X_{1} β_{1} + X_{2} β_{2} + u

$\mathbf y = \mathbf X_1\beta_1 + \mathbf X_2\beta_2 + \mathbf u$

wir haben das

{\hat{β}}_{1} = ({X.}_{1}^{'} {M.}_{2} {X.}_{1})^{- - 1} ({X.}_{1}^{'} {M.}_{2}) y

$\hat \beta_1 = (\mathbf X_1'\mathbf M_2\mathbf X_1)^{-1}(\mathbf X_1'\mathbf M_2)\mathbf y$

Da idempotent ist, können wir das Obige umschreiben $\mathbf M_2$

{\hat{β}}_{1} = ({X.}_{1}^{'} {M.}_{2} {M.}_{2} {X.}_{1})^{- - 1} ({X.}_{1}^{'} {M.}_{2} {M.}_{2}) y

$\hat \beta_1 = (\mathbf X_1'\mathbf M_2\mathbf M_2\mathbf X_1)^{-1}(\mathbf X_1'\mathbf M_2\mathbf M_2)\mathbf y$

und da auch symmetrisch ist, haben wir $M_2$

{\hat{β}}_{1} = ([{M.}_{2} {X.}_{1} {]]}^{'} [{M.}_{2} {X.}_{1}]])^{- - 1} ([{M.}_{2} {X.}_{1} {]]}^{'} [{M.}_{2} y]]

$\hat \beta_1 = ([\mathbf M_2\mathbf X_1]'[\mathbf M_2\mathbf X_1])^{-1}([\mathbf M_2\mathbf X_1]'[\mathbf M_2\mathbf y]$

Dies ist jedoch der Schätzer der kleinsten Quadrate aus dem Modell

[{M.}_{2} y]] = [{M.}_{2} {X.}_{1}]] β_{1} + {M.}_{2} u

$[\mathbf M_2\mathbf y] = [\mathbf M_2\mathbf X_1]\beta_1 + \mathbf M_2\mathbf u$

und auch sind die Residuen, die von auf der Matrix . $\mathbf M_2\mathbf y$ $\mathbf y$ $\mathbf X_2$

Mit anderen Worten: 1) Wenn wir zurückbilden auf der Matrix nur, und dann die Rückschritt - Residuen aus dieser Schätzung auf der Matrix nur die werden erhalten werden Schätzungen wir werden mathematisch die Schätzungen gleich wir wird erhalten, wenn wir auf und zusammen zurückführen, wie es eine übliche multiple Regression ist. $\mathbf y$ $\mathbf X_2$ $\mathbf M_2\mathbf X_1$ $\hat \beta_1$ $\mathbf y$ $\mathbf X_1$ $\mathbf X_2$

Nehmen wir nun an, dass keine Matrix ist, sondern nur ein Regressor, sagen wir . Dann ist die Residuen aus der Regression der Variablen auf der Regressormatrix . Und das bietet die Intuition gibt uns die Wirkung , dass „der Teil von , die durch unerklärt “ hat auf den „Teil von , die durch unerklärliche blieb “. $\mathbf X_1$ $\mathbf x_1$ $\mathbf M_2 \mathbf x_1$ $X_1$ $\mathbf X_2$ $\hat \beta_1$ $X_1$ $\mathbf X_2$ $Y$ $\mathbf X_2$

Dies ist ein symbolischer Teil der klassischen Least-Squares-Algebra.

— Alecos Papadopoulos
quelle

Ich habe angefangen zu antworten, aber ich hatte viele Überschneidungen mit dieser Antwort. Viele dieser Informationen finden Sie in Kapitel 3.2.4 der 7. Ausgabe von "Econometric Analysis" von Bill Greene.

— cc7768

@ cc7768 Ja, das ist eine gute Quelle für Algebra der kleinsten Quadrate. Aber zögern Sie nicht, zusätzliches Material zu veröffentlichen. Zum Beispiel deckt meine Antwort im Wesentlichen nur die zweite Frage des OP ab.

— Alecos Papadopoulos

@AlecosPapadopoulos Sie sagen , dass , wenn wir regredieren

auf

, auch wir bekommen

. Aber heißt es nicht in der Gleichung:

stattdessen auf

zurückführen?

M_{2} y

$\mathbf M_2y$

X_{1}

$\mathbf X_1$

{\hat{β}}_{1}

$\hat \beta_1$

M_{2} y

$\mathbf M_2y$

M_{2} X_{1}

$\mathbf M_2\mathbf X_1$

— Heisenberg

@ Heisenberg Richtig. Tippfehler. Es wurde behoben und ein bisschen mehr hinzugefügt.

— Alecos Papadopoulos