Bedingte mittlere Unabhängigkeit impliziert Unvoreingenommenheit und Konsistenz des OLS-Schätzers

Betrachten Sie das folgende multiple Regressionsmodell:

\begin{matrix} (1) & Y = X β + Z δ + U . \end{matrix}

$Y=X\beta+Z\delta+U.\tag{1}$

Hier ist $Y$ ein $n\times 1$ Spaltenvektor; $X$ a $n\times (k+1)$ Matrix; $\beta$ a $(k+1)\times 1$ Spaltenvektor; $Z$ a $n\times l$ Matrix; $\delta$ a $l\times 1$ Spaltenvektor; und $U$ , der Fehlerterm, ein $n\times1$ Spaltenvektor.

FRAGE

Mein Dozent, das Lehrbuch Einführung in die Ökonometrie, 3. Aufl. von James H. Stock und Mark W. Watson, p. 281 und Ökonometrie: Honor's Exam Review Session (PDF) , p. 7, hat mir folgendes ausgedrückt.

Wenn wir annehmen, was als bedingte mittlere Unabhängigkeit bezeichnet wird , was per Definition bedeutet, dass $\begin{matrix} (2) & E (U | X, Z) = E (U | Z), \end{matrix}$ $E(U|X,Z)=E(U|Z),\tag{2}$
und wenn die Annahme der kleinsten Quadrate mit Ausnahme der bedingten mittleren Nullannahme $E(U|X,Z)=0$ erfüllt ist (also nehmen wir $E(U|X,Z)=E(U|Z) \neq 0$ ) (siehe 1- 3 unten),
Dann wird der OLS Schätzer von in bleibt unvoreingenommene und konsistente, im Rahmen dieser schwächeren Reihe von Annahmen. $\hat{\beta}$ $\beta$ $(1)$

Wie beweise ich diesen Vorschlag? Das heißt, dass 1 und 2 oben implizieren, dass die OLS-Schätzung von $\beta$ uns einen unvoreingenommenen und konsistenten Schätzer für $\beta$ liefert ? Gibt es einen Forschungsartikel, der diesen Vorschlag belegt?

KOMMENTAR

Der einfachste Fall ergibt sich aus der Betrachtung des linearen Regressionsmodells

Y_{i} = β_{0} + β_{1} X_{i} + β_{2} Z_{i} + u_{i}, i = 1, 2, \dots, n,

$Y_i=\beta_0+\beta_1X_i+\beta_2Z_i+u_i,\quad i=1,2,\ldots,n,$ und beweisendass die OLS schätzen

von

istwenn unvoreingenommene

für jedes

{\hat{β}}_{1}

$\hat{\beta}_1$

β_{1}

$\beta_1$

E (u_{i} | X_{i}, Z_{i}) = E (u_{i} | Z_{i})

$E(u_i|X_i,Z_i)=E(u_i|Z_i)$

i

$i$

Beweis der Unbeschwertheit unter der Annahme, dass $U_i$ und $Z_i$ GEMEINSAM NORMAL VERTEILT SIND

Definiere $V=U-E(U|X,Z)$ , dann $U=V+E(U|X,Z)$ und

\begin{matrix} (*) & E (V | X, Z) = 0 . \end{matrix}

$E(V|X,Z)=0\tag{*}.$ So

(1)

$(1)$ kann umgeschrieben werden als

\begin{matrix} (3) & Y = X β + Z δ + E (U | X, Z) + V . \end{matrix}

$Y=X\beta+Z\delta+E(U|X,Z)+V.\tag{3}$ Durch

(2)

$(2)$ folgt danndass

\begin{matrix} (4) & Y = X β + Z δ + E (U | Z) + V . \end{matrix}

$Y=X\beta+Z\delta+E(U|Z)+V.\tag{4}$ Da nun

U_{i}

$U_i$ und

Z_{i}

$Z_i$ gemeinsam normalverteilt sind, ist die Theorie der Normalverteilungen vgl. Die Ableitung der bedingten Verteilungen einer multivariaten Normalverteilungbesagt, dass (tatsächlich müssen wir keine gemeinsame Normalität annehmen, sondern nur diese Identität)

\begin{matrix} (**) & E (U | Z) = Z γ \end{matrix}

$E(U|Z)=Z\gamma\tag{**}$ für einige

l

$l$ mal

1

$1$ Vektor

γ \neq 0

$\gamma\neq\textbf{0}$ .

Jetzt $(4)$ wird

\begin{matrix} (5) & Y = X β + Z (δ + γ) + V . \end{matrix}

$Y=X\beta+Z(\delta+\gamma)+V.\tag{5}$ Für das Modell

(5)

$(5)$ alle Annahmen der kleinsten Quadrate erfüllt, da der Fehlerterm

V

$V$ die Annahme des bedingten Mittelwerts Null erfüllt. Dies bedeutet , dass die OLS Schätzung

von

unvoreingenommen sein wird, denn wenn wir lassen

und lassen

kann die

\hat{β}

$\hat{\beta}$

β

$\beta$

ρ = δ + γ

$\rho=\delta+\gamma$

W = (X, Z)

$W=(X,Z)$

n

$n$ von

(k + 1) + l

$(k+1)+l$ Matrix aus

X

$X$ und

Z

$Z$ , dann schätzen die OLS von

β

$\beta$ in

(5)

$(5)$ ist gegeben durch die folgende Berücksichtigung

\begin{aligned} ({\hat{β}}^{T}, {\hat{ρ}}^{T})^{T} & = (W^{T} W)^{- 1} W^{T} Y \\ = (W^{T} W)^{- 1} W^{T} (W (β^{T}, ρ^{T})^{T} + V) \\ = (β^{T}, ρ^{T})^{T} + (W^{T} W)^{- 1} W^{T} V \end{aligned}

$\begin{align}(\hat{\beta}^T,\hat{\rho}^T)^T &=(W^TW)^{-1}W^TY\\ &=(W^TW)^{-1}W^T(W(\beta^T,\rho^T)^T+V)\\ &=(\beta^T,\rho^T)^T+(W^TW)^{-1}W^TV\end{align}$

und somit

\begin{aligned} E (({\hat{β}}^{T}, {\hat{ρ}}^{T})^{T} | W) & = (β^{T}, ρ^{T})^{T} + (W^{T} W)^{- 1} W s^{T} E (V | W) \\ = (β^{T}, ρ^{T})^{T} + (W^{T} W)^{- 1} W^{T} 0 \\ = (β^{T}, ρ^{T})^{T}, \end{aligned}

$\begin{align}E((\hat{\beta}^T,\hat{\rho}^T)^T|W)&=(\beta^T,\rho^T)^T+(W^TW)^{-1}Ws^TE(V|W)\\&=(\beta^T,\rho^T)^T+(W^TW)^{-1}W^T\textbf{0}\\&=(\beta^T,\rho^T)^T,\end{align}$ wobei die zweite Zeile durch

(*)

$(*)$ folgt. Somit

ist eine bedingt unvoreingenommene Abschätzung des

da die OLS fürModell gegeben Schätzung

coinicides mit derjenigen fürModell gegeben

. Nun, durch das Gesetz der Gesamt Erwartung

\hat{β}

$\hat{\beta}$

β

$\beta$

(1)

$(1)$

(5)

$(5)$

\begin{aligned} E (\hat{β}) & = E (E (\hat{β} | W)) \\ = E (β) \\ = β, \end{aligned}

$\begin{align}E(\hat{\beta})&=E(E(\hat{\beta}|W))\\ &=E(\beta)\\ &=\beta,\end{align}$ und somit

ist ein unverzerrter Schätzer für

\hat{β}

$\hat{\beta}$

β

$\beta$

(Man kann bemerken , daß $E(\hat{\rho})=\rho=\delta+\gamma\neq\delta$ , so daß der Koeffizient auf $Z$ ist nicht notwendigerweise unvoreingenommene.)

Der obige Sonderfall geht jedoch davon aus, dass $U_i$ und $Z_i$ gemeinsam normalverteilt sind. Wie beweise ich den Satz ohne diese Annahme?

Angenommen, $E(U|Z)=Z\gamma$ reicht natürlich immer aus (vgl. $(**)$ ), aber ich soll das Ergebnis nur unter Verwendung von $(2)$ und der Annahme der kleinsten Quadrate ohne die Annahme des bedingten mittleren Nullpunkts ableiten (siehe unten).

IN BEZUG AUF KONSISTENZ

$\hat{\beta}$ $\beta$ $(5)$ $V$ $(*)$

$(**)$ $(2)$

SUBQUERY 1

$(**)$

DIE MINDESTQUADRATISCHEN ANNAHMEN

$E(U|X,Z)=0$ $E(U|X,Z)\neq 0$ $Z$ $U$

Die Annahme der kleinsten Quadrate ist die folgende.

$(Y_i,X_i,Z_i)$ $i=1,2,\ldots,n,$ $Y_i$ $i$ $Y$ $X_i$ $Z_i$ $i$ $X$ $Z$
$i$ $X_i, Z_i$ $U_i$ $U_i$ $i$ $U$
$(X,Z)$ $W^TW$
$\text{Var}(U_i|X_i,Z_i)=\sigma^2_U$ $i$ $U_i$ $(X_i,Z_i)$ $i$

HINWEIS ZUR TERMINOLOGIE

$(1)$ $E(U|X,Z)=0$ $E(U|X,Z)=E(U|Z)$

Diese Terminologie wird zB in Introduction to Econometrics, 3. Aufl. von James H. Stock und Mark W. Watson, p. 281; und ökonometrische Analyse von Querschnitts- und Paneldaten, 1. Aufl. von Jeffrey M. Wooldridge, p. 607. Siehe auch Bedingte Unabhängigkeitsbeschränkungen: Testen und Schätzen für ähnliche Diskussionen.

ZUSÄTZLICHE GEDANKEN UND SUBQUERY 2

$\beta$ $E(U|Z)$ $E(U|Z)=p(Z)$ $p(Z)$ $Z$ $E(U|Z)=\exp( Z\gamma)$ $\gamma$ $\beta$ $\beta$ $(4)$ $E(U|Z)$

Eine zusätzliche Frage ist daher, ob es ein Gegenbeispiel zu der These gibt, dass die bedingte mittlere Unabhängigkeit zu einer unvoreingenommenen OLS-Schätzung führt.

SUBQUERY 3

$Y$ $X$ $W$ $X$ $Y$ $X$ $Y$ $X$ $W$ $X$ $(1)$ ist weniger voreingenommen als wenn CI nicht gilt (alle anderen gleich).

Kann diese Idee irgendwie verwendet werden, um meine Hauptfrage hier zu beantworten?

— Elias
quelle

Y_{i} = β_{0} + β_{1} X_{i} + β_{2} Z_{i} + u_{i}

$Y_i=\beta_0+\beta_1X_i+\beta_2Z_i+u_i$

E (u_{i} | X_{i}, Z_{i}) = E (u_{i} | Z_{i})

$E(u_i|X_i,Z_i)=E(u_i|Z_i)$

— Elias

@ Xi'an Wie würden Sie in diesem Fall "bedingte Unabhängigkeit $ ce" definieren? Aus meiner Sicht ist "bedingte Unabhängigkeit" ein Konzept, das sich von "bedingter mittlerer Unabhängigkeit" unterscheidet. Sie können konzeptionell verknüpft sein oder nicht.

— Elias

P (A \cap B | C) = P (A | C) P (B | C)

$P(A\cap B|C)=P(A|C)P(B|C)$

E (A | B, C) = E (A | C)

$E(A|B,C)=E(A|C)$

Wo ist Xi'ans Kommentar?

— Michael R. Chernick

E (U | X, Z) = E (U | Z)

$E(U|X,Z)=E(U|Z)$

$\beta$ $\beta$ $E(u|x,z)=z\gamma$

$E(u|x,z)$

\begin{aligned} E (u | z) = x α_{1} + z α_{2} + ν \end{aligned}

$\begin{align} E(u|z) = x\alpha_1 + z\alpha_2 + \nu \end{align}$

β

$\beta$

α_{1}

$\alpha_1$

γ

$\gamma$

α_{2}

$\alpha_2$

x

$x$

E (u | z)

$E(u|z)$

z

$z$

α_{1}

$\alpha_1$

\begin{aligned} ξ & \sim F (), ζ \sim G (), ν \sim H () all independent \\ z & = ξ \\ x & = z^{2} + ζ \\ u & = z + z^{2} - E (z + z^{2}) + ν \end{aligned}

$\begin{align} \xi &\sim F(), \; \zeta \sim G(), \; \nu \sim H()\quad \text{all independent}\\ z &=\xi\\ x &= z^2 + \zeta\\ u &= z+z^2-E(z+z^2)+\nu \end{align}$

$u$ $E(u|x,z)=E(u|z)=z+z^2-E(z+z^2)$ $F,G,H$ $\alpha_1$

Hier ist ein sehr einfaches Beispiel, Rdas den Punkt demonstriert:

set.seed(12344321)
z <- runif(n=100000,min=0,max=10)
x <- z^2 + runif(n=100000,min=0,max=20)
u <- z + z^2 - mean(z+z^2) + rnorm(n=100000,mean=0,sd=20)
y <- x + z + u

summary(lm(y~x+z))

# auxiliary regression
summary(lm(z+z^2~x+z))

$x$ $x$ $z^2$ $E(u|z)$

\begin{aligned} y = x β + z γ + E (u | z) + v \end{aligned}

$\begin{align} y = x\beta + z\gamma + E(u|z) + v \end{align}$

$z$ $z$ $x$ $u$

$f()$ $f(z)=z\gamma+E(u|z)$

\begin{aligned} y = x β + f (z) + v \end{aligned}

$\begin{align} y = x\beta + f(z) + v \end{align}$

β

$\beta$ weil es kein ausgelassenes Variablenproblem mehr gibt.

$z$ $z=1$

\begin{aligned} y = x β + v \end{aligned}

$\begin{align} y = x\beta + v \end{align}$

β

$\beta$

f (1)

$f(1)$

z = 2

$z=2$

z = 3

$z=3$ . Dann hätten Sie eine Menge guter Schätzer, aus denen Sie einen großartigen Schätzer machen könnten, indem Sie sie beispielsweise alle irgendwie zusammen mitteln.

$z=1$ $z$ $z$

— Rechnung
quelle

$(4)$

Y = X β + Z δ + (E (U | Z) + V)

$Y=X\beta+Z\delta+\Big(E(U|Z)+V\Big)$

$M_Z = I - Z(Z'Z)^{-1}Z'$ $M_ZZ = \mathbf 0$

Durch "partitionierte Regressionsergebnisse" haben wir das

{\hat{β}}_{O L S} - β = (X^{'} M_{Z} X)^{- 1} X^{'} M_{Z} Z δ + (X^{'} M_{Z} X)^{- 1} X^{'} M_{Z} E (U ∣ Z) + (X^{'} M_{Z} X)^{- 1} X^{'} M_{Z} V

$\hat \beta_{OLS} - \beta = (X'M_ZX)^{-1}X'M_ZZ\delta + (X'M_ZX)^{-1}X'M_ZE(U\mid Z) + (X'M_ZX)^{-1}X'M_ZV$

Der erste Term rechts ist bereits Null. Wenn Sie den erwarteten Wert durchgehend nehmen und dann die Turmeigenschaft für die bedingte Erwartung anwenden, ist der dritte Term ebenfalls Null (unter Verwendung der bedingten mittleren Unabhängigkeit in ihrer schwächeren Form). Aber das ist so weit, dass diese schwächere Annahme uns führt, weil wir mit bleiben werden

E ({\hat{β}}_{O L S}) - β = E [(X^{'} M_{Z} X)^{- 1} X^{'} M_{Z} E (U ∣ Z)]

$E\Big(\hat \beta_{OLS} \Big)- \beta = E\Big[(X'M_ZX)^{-1}X'M_ZE(U\mid Z) \Big]$

$E(U\mid Z)$ $Z$ $M_ZZ$
$\beta$

E (U ∣ X, Z) = E (U ∣ Z) = Z γ

$E(U\mid X, Z)=E(U\mid Z)=Z\gamma$

$U$ $Z$

$\hat \beta_{OLS}$

— Alecos Papadopoulos
quelle

M_{Z}

$M_Z$

M_{z}

$M_z$

Z

$Z$

z

$z$