Warum ist die Varianz von 2SLS größer als die von OLS?

9

... Ein weiteres potenzielles Problem bei der Anwendung von 2SLS- und anderen IV-Verfahren besteht darin, dass die 2SLS-Standardfehler tendenziell "groß" sind. Mit dieser Aussage ist normalerweise gemeint, dass entweder 2SLS-Koeffizienten statistisch nicht signifikant sind oder dass der 2SLS-Standard Fehler sind viel größer als die OLS-Standardfehler. Es überrascht nicht, dass die Größen der 2SLS-Standardfehler unter anderem von der Qualität der bei der Schätzung verwendeten Instrumente abhängen.

Dieses Zitat stammt aus Wooldridges "Ökonometrische Analyse von Querschnitts- und Paneldaten" . Ich frage mich, warum das passiert? Ich würde eine mathematische Erklärung vorziehen.

Unter der Annahme der Homoskedastizität ist der Einfachheit halber die (geschätzte) asymptotische Varianz des OLS-Schätzers gegeben durch

\hat{EIN v ein r} ({\hat{β}}_{Ö L. S.}) = n σ^{2} ({X.}^{'} X.)^{- - 1}

$\widehat{Avar}(\hat{\beta}_{OLS}) = n\sigma^2(X'X)^{-1}$ während für den 2SLS-Schätzer wobei

\hat{A v a r} ({\hat{β}}_{2 S L S}) = n σ^{2} ({\hat{X}}^{'} \hat{X})^{- 1}

$\widehat{Avar}(\hat{\beta}_{2SLS}) = n\sigma^2(\hat{X}'\hat{X})^{-1}$

\hat{X} = P_{z} X = Z (Z^{'} Z)^{- 1} Z^{'} X .

$\hat{X} = P_zX = Z(Z'Z)^{-1}Z'X.$

$X$ ist die Matrix der Regressoren, einschließlich der endogenen, und ist die Matrix der instrumentellen Variablen. $Z$

Das Umschreiben der Varianz für 2SLS ergibt also

\hat{EIN v ein r} ({\hat{β}}_{2 S. L. S.}) = n σ^{2} {({X.}^{'} Z. ({Z.}^{'} Z.)^{- - 1} {Z.}^{'} X.)}^{- - 1} .

$\widehat{Avar}(\hat{\beta}_{2SLS}) = n\sigma^2\left(X'Z(Z'Z)^{-1}Z'X\right)^{-1}.$

Ich kann jedoch aus den obigen Formeln nicht schließen, dass . $\widehat{Avar}(\hat{\beta}_{2SLS}) \geq \widehat{Avar}(\hat{\beta}_{OLS})$

— tosik
quelle

Ich denke, Sie haben vergessen, das Gegenteil in Ihrem letzten Ausdruck von Avar von 2SLS zu nehmen.

— Richard Hardy

Sie haben Recht, korrigiert.

— Tosik

Ich habe einige kleine Änderungen vorgenommen, insbesondere in Bezug auf die Definition von

Z

$Z$ . Bitte prüfe.

— Christoph Hanck

6

Wir sagen, eine Matrix ist mindestens so groß wie $A$ $B$ wenn ihr Unterschied $A-B$ ist positiv semidefinit (psd).

Eine äquivalente Aussage, die sich hier als einfacher zu überprüfen herausstellt, ist diese $B^{-1}-A^{-1}$ ist psd (ähnlich $a>b$ ist äquivalent zu $1/b>1/a$ ).

Also wollen wir das überprüfen

X^{'} X - X^{'} Z (Z^{'} Z)^{- 1} Z^{'} X

$X'X-X'Z(Z'Z)^{-1}Z'X$ ist psd.

Schreiben

X^{'} X - X^{'} Z (Z^{'} Z)^{- 1} Z^{'} X = X^{'} (I - Z (Z^{'} Z)^{- 1} Z^{'}) X = X^{'} M_{Z} X

$X'X-X'Z(Z'Z)^{-1}Z'X=X'(I-Z(Z'Z)^{-1}Z')X=X'M_ZX$ Um das zu überprüfen

X^{'} M_{Z} X

$X'M_ZX$ ist psd, wir müssen das für jeden Vektor zeigen

d

$d$ ,

d^{'} X^{'} M_{Z} X d \geq 0

$d'X'M_ZXd\geq0$ Lassen

c = X d

$c=Xd$ . Dann,

c^{'} M_{Z} c \geq 0

$c'M_Zc\geq0$ wie

M_{Z}

$M_Z$ ist eine symmetrische und idempotente Projektionsmatrix, die als psd bekannt ist: Schreiben unter Verwendung von Symmetrie und Idempotenz,

c^{'} M_{Z} c = c^{'} M_{Z} M_{Z} c = c^{'} M_{Z}^{'} M_{Z} c

$c'M_Zc=c'M_ZM_Zc=c'M_Z'M_Zc$ und lass

e = M_{Z} c

$e=M_Zc$ , damit

c^{'} M_{Z} c = e^{'} e = \sum_{i} e_{i}^{2}

$c'M_Zc=e'e=\sum_ie_i^2$ , die als Summe der Quadrate nicht negativ sein muss.

PS: Zwei kleine Probleme - Sie beziehen sich auf die geschätzten asymptotischen Varianzen $\widehat{Avar}(\hat\beta_j)$ . Nun der OLS-Schätzer und der 2SLS-Schätzer von $\sigma^2$ sind nicht gleich, so dass ich nicht sehe, dass das Ranking unbedingt beibehalten werden muss, wenn diese Schätzungen abweichen. Auch die asymptotischen Varianzen werden im Allgemeinen durch skaliert $n$ um eine nicht entartete Menge als zu erhalten $n\to\infty$ . (Natürlich beide skalieren durch $n$ wird das Ranking nicht beeinflussen, so dass das Problem für diese spezielle Frage ein wenig umstritten ist.)

— Christoph Hanck
quelle

Vielen Dank für Ihre Antwort. Die asymptotische Varianz sollte tatsächlich durch geteilt werden

n

$n$ (korrigiert). Ich denke, es gibt einen Tippfehler, wenn Sie anrufen

M_{z}

$M_z$ Projektionsmatrix, ich denke, es heißt Vernichtermatrix. Wie auch immer, könnten Sie bitte Einzelheiten dazu angeben?

M_{z}

$M_z$ ist psd. Ich verstehe auch nicht ganz Ihren Standpunkt, für den OLS- und 2SLS-Schätzer

σ^{2}

$\sigma^2$ sind nicht gleich, könnten Sie näher erläutern, was es bedeutet?

— Tosik

Ich habe einige Details hinzugefügt.

M

$M$ ist in der Tat am besten als Vernichtermatrix bekannt, aber da sie auch auf einen bestimmten Raum projiziert (das orthogonale Komplement des Bildes von

P

$P$ ) Es ist auch eine Projektionsmatrix.

— Christoph Hanck

Vielen Dank für die Klarstellung und Änderungen (ich weiß nicht, warum ich mich entschieden habe, durch zu teilen

n

$n$ ). Könntest du deinen ersten Punkt in PS erklären?

— Tosik

Um es wirklich zur geschätzten asymptotischen Varianz zu machen, benötigen Sie einen Schätzer

{\hat{σ}}^{2}

$\hat\sigma^2$ . Der OLS-Schätzer von

σ^{2}

$\sigma^2$ basiert auf den OLS-Residuen, während der 2SLS-Schätzer Residuen verwendet

y - X {\hat{β}}_{2 S L S}

$y-X\hat\beta_{2SLS}$ schätzen

σ^{2}

$\sigma^2$ . Diese Schätzungen können in beiden Richtungen unterschiedlich sein und möglicherweise die Rangfolge der Abweichungen beeinflussen.

— Christoph Hanck

3

Ich denke, dies ist eine der Situationen, in denen es viel einfacher ist, die einfache Einstellung einer Gleichung und einer Variablen zu betrachten. Technisch gesehen handelt es sich also um eine IV-Regression und nicht um 2SLS (aber das Ergebnis ist immer noch allgemein). Daher werden wir für einige ein Modell (in Wooldridge-Notation) annehmen $i$ wir haben:

y_{i} = β_{0} + β_{1} x_{i 1} + u_{i}

$y_i = \beta_0 + \beta_1 x_{i1} + u_i$

Wenn wir nun annehmen, dass dieses Modell den Gauß-Markov-Annahmen folgt, dann wissen wir (siehe jedes anständige Lehrbuch), dass die asymptotische Varianz von $\hat\beta_1$ ist gegeben durch:

A v a r ({\hat{β}}_{O L S}) = \frac{{\hat{σ}}^{2}}{S S T_{x}}

$Avar(\hat\beta_{OLS})=\frac{\hat\sigma^2}{SST_x}$

Wo $SST_x$ ist die Gesamtsumme der Quadrate für $x$ . Wenn wir stattdessen davon ausgehen $x$ ist (möglich) endegonoues und verwenden IV Regression mit $z$ als Instrument ist dann die asymptotische Varianz des IV-Schätzers:

A v a r ({\hat{β}}_{i v}) = \frac{{\hat{σ}}^{2}}{S S T_{x} \cdot R_{x, z}^{2}}

$Avar(\hat\beta_{iv}) = \frac{\hat\sigma^2}{SST_x \cdot R^2_{x,z}}$

Schon seit $R^2$ ist immer dazwischen $0$ und $1$ muss der Nenner für den IV-Schätzer kleiner sein als für OLS (wenn OLS tatsächlich gültig ist).

— Repmat
quelle

0

Nur ein Kommentar. Ich denke, es ist ziemlich klar, dass die Schätzung der Varianz der Fehler bei Verwendung von 2SLS höher ist. Denken Sie daran, dass OLS die Schätzung dieser Varianz minimiert. Daher sollte jeder andere Schätzer eine höhere Stichprobenschätzung der Varianz der Fehler haben.

— Paul
quelle