Wie kann gezeigt werden, dass der GLS-Schätzer im Regressionsmodell konsistent ist?

Y = X β + U

$\mathbf Y=\mathbf X\beta + \mathbf U$

E [U U^{'}] = Ω

$\mathbf E[\mathbf U\mathbf U']=\Omega$

\hat{β} - β = (X^{'} Ω^{- 1} X)^{- 1} X^{'} Ω^{- 1} U

$\hat \beta - \beta=(\mathbf X'\Omega^{-1}\mathbf X)^{-1}\mathbf X'\Omega^{-1}\mathbf U$

lassen und . es ist offensichtlich, dass , das i-te Element von , iid der Standardnormalverteilung folgt, wenn wir annehmen, dass der Normalverteilung folgt. Aber , die i-te Zeile von ist nicht unbedingt unabhängig, da es sich um die lineare Kombination aller Zeilen in (was iid angenommen wird, da sie für Beobachtungen von stehen die gleiche Verteilung). $\mathbf X^{*}=\Omega^{-0.5}\mathbf X$ $\mathbf U^{*}=\Omega^{-0.5}\mathbf U$ $\mathbf u^{*}_i$ $\mathbf U^{*}$ $\mathbf U$ $x_i^{*'}$ $\mathbf X^{*}$ $\mathbf X$

Daher sind die folgenden Aussagen nach dem unabhängigen Gesetz der großen Zahl und dem zentralen Grenzwertsatz nicht unbedingt wahr:

$plim\frac{\mathbf X'\Omega^{-1}\mathbf U}{n}=plim\frac{\mathbf X^{*'}\mathbf U^{*}}{n}= plim\frac{1}{n}\Sigma x_i^{*}u_i^{*} =0$
$\frac{\mathbf X'\Omega^{-1}\mathbf U}{\sqrt n}=\frac{\mathbf X^{*'}\mathbf U^{*}}{\sqrt n}= \frac{1}{\sqrt n}\Sigma x_i^{*}u_i^{*}$ konvergiert zur Normalverteilung

Ich verstehe, dass wenn eine Diagonalmatrix ist, unabhängig ist und es kein Problem darstellt. Was ist, wenn keine Diagonalmatrix ist? Welche Art von abhängigem LLN und CLT kann hier angewendet werden? sollten wir andere Annahmen treffen? $\mathbf \Omega$ $x_i^{*}$ $\mathbf \Omega$

econometrics

— Wenkui Liu
quelle

Wenn Sie eine iid-Probe haben, sind die Regressoren exogen und (was wirklich eine Sequenz ist, die durch die Probengröße indiziert ist) ist einheitlich positiv definit und hat eine blockdiagonale Struktur, dann folgt die Konsistenz aus LLN für z. B. Mischprozesse. Die Momentbeschränkungen, z. B. ein endlicher zweiter Moment, müssen vorhanden sein usw., da der iid-Fall möglicherweise entsprechend verstärkt werden muss.

Ω

$\Omega$

— Michael

@ Michael Nehmen Sie iid Probe und Exogenität an. Es hört sich so an, als müssten einige Annahmen auf das angewendet werden, bevor wir LLN und CLT verwenden können, nicht wahr?

Ω

$\Omega$

— Wenkui Liu

Ja, gleichmäßig positiv definitiv und Blockdiagonale sollten es tun. Obwohl die Blockdiagonale möglicherweise zu stark ist, ist es einfacher zu sagen, ich werde versuchen, eine Antwort zu posten, wenn mich jemand nicht schlägt.

— Michael

@ Michael Ich habe gerade eine Lösung durch die Ungleichung der Chebyshev gefunden. P [| |> ] <= = . Dies geht auf Null, wenn wir nur das endliche zweite Moment von X annehmen. Damit ist die Konsistenz bewiesen. Habe ich recht?

\frac{X^{'} Ω^{- 1} U}{n}

$\frac{\mathbf X'\Omega^{-1}\mathbf U}{n}$

ϵ

$\epsilon$

\frac{E [X^{'} Ω^{- 1} U U^{'} Ω^{- 1} X^{'}]}{n^{2}}

$\frac{E[\mathbf X'\Omega^{-1}\mathbf U\mathbf U'\Omega^{-1}\mathbf X']}{n^2}$

\frac{E [X^{'} Ω^{- 1} X^{'}]}{n^{2}}

$\frac{E[\mathbf X'\Omega^{-1}\mathbf X']}{n^2}$

— Wenkui Liu

Wenn die Regressoren sind streng exogene zu dem Fehlerterm (die die anfängliche gemacht Standardannahme), das heißt, wenn die Fehlervektor mean-unabhängig von der Regressor ist Matrix

E (u ∣ X) = 0

$E(\mathbf u \mid \mathbf X) = \mathbf 0$

dann folgt sofort die Konsistenz. Stellen Sie für Bequemlichkeit . Dann $\mathbf \Omega ^{-1/2} \equiv \mathbf C$

plim (n^{- 1} (C X)^{'} u) = plim (n^{- 1} X^{'} C^{'} u)

$\text{plim}\left(n^{-1} (\mathbf C\mathbf X)'\mathbf u \right)= \text{plim}\left(n^{-1}\mathbf X'\mathbf C'\mathbf u\right)$

Dies ist eine Matrix. Was wäre ein typisches Element, sagen wir das erste? $k \times 1$

Die Matrix ist ein Vektor, $\mathbf C'\mathbf u$ $n\times 1$

C^{'} u = {(\sum_{i = 1}^{n} c_{1 i} u_{i}, . . ., \sum_{i = 1}^{n} c_{n i} u_{i})}^{'}

$\mathbf C'\mathbf u = \left(\sum_{i=1}^nc_{1i}u_i,..., \sum_{i=1}^nc_{ni}u_i\right)'$

Multipliziert mit der ersten Zeile von ergibt $\mathbf X' = (x_{11}\;...\;x_{1n})$

{[X^{'} C^{'} u]}_{1} = x_{11} \cdot \sum_{i = 1}^{n} c_{1 i} u_{i} + . . . + x_{1 n} \cdot \sum_{i = 1}^{n} c_{n i} u_{i}

$\left [\mathbf X'\mathbf C'\mathbf u\right]_1 =x_{11}\cdot \sum_{i=1}^nc_{1i}u_i\;+...\;+ x_{1n}\cdot\sum_{i=1}^nc_{ni}u_i$

Jetzt kommt die strikte Exogenität ins Spiel: Sie ist stärker und impliziert dies

E (u ∣ X) = 0 ⟹ E (x_{1 i} u_{j}) = 0 \forall i, j

$E(\mathbf u \mid \mathbf X) = \mathbf 0 \implies E(x_{1i}u_j)=0\;\;\forall i,j$

Die obige Summe von Summen, skaliert mit , tendiert also asymptotisch zu Null, da alle Produkte in jeder Summe zu einem erwarteten Wert von Null tendieren. Dies beweist Konsistenz. $n^{-1}$

Beachten Sie, dass eine strikte Exogenität wirklich erforderlich ist, wenn die Matrix eine Funktion der Regressoren ist. In einem solchen Fall würden wir uns Produkte der Form ansehen $\Omega$

x_{1 i} \cdot h (x) \cdot u_{j}

$x_{1i}\cdot h(\mathbf x) \cdot u_j$

Dies würde in Bezug auf den erwarteten Wert immer noch auf Null gehen, da die mittlere Unabhängigkeit eine Orthogonalität zwischen dem Fehlerterm und einer beliebigen Funktion der Regressoren impliziert .

Wenn nicht von den Regressoren abhängt, könnten wir die strikte Exogenität des RHS-Zustands schwächen, der stärker ist als die "zeitgleiche Unkorrelation", die letztere für OLS benötigt. $\Omega$

Ich überlasse den Fall der asymptotischen Normalität jedem Interessierten.

— Alecos Papadopoulos
quelle

Die irreführende Behauptung ist ein Argument für Konsistenz. "... Die obige Summe von Summen, skaliert mit , tendiert also asymptotisch zu Null ..." ist im Allgemeinen eindeutig nicht wahr, selbst im iid-Fall. Es ist eine Summe von Summen und . Erwartung und unendliche Reihen pendeln im Allgemeinen bereits nicht, viel weniger Wahrscheinlichkeitsgrenze und unendliche Reihen. Gegenbeispiele sind mit Diagonale einfach zu konstruieren . Wie OP bereits in den Kommentaren ausgeführt hat, erfordert dies Annahmen, die von unten auf .

n^{- 1}

$n^{−1}$

n

$n$

n \to \infty

$n \rightarrow \infty$

Ω

$\Omega$

\frac{Ω^{- 1}}{n}

$\frac{\Omega^{-1}}{n}$

— Michael

@ Michael Hmm, ich denke, ich habe bestimmte "übliche" Annahmen impliziert und nicht explizit angegeben. Lassen Sie mich sehen, wie ich die Qualität dieser Antwort verbessern kann.

— Alecos Papadopoulos