Beobachtete Informationsmatrix ist ein konsistenter Schätzer der erwarteten Informationsmatrix?

Ich versuche zu beweisen, dass die beobachtete Informationsmatrix, die beim schwach konsistenten Maximum Likelihood Estimator (MLE) ausgewertet wird, ein schwach konsistenter Schätzer der erwarteten Informationsmatrix ist. Dies ist ein viel zitiertes Ergebnis, aber niemand gibt einen Hinweis oder einen Beweis (ich denke, die ersten 20 Seiten der Google-Ergebnisse und meine Statistik-Lehrbücher sind erschöpft)!

Unter Verwendung einer schwach konsistenten Folge von MLEs kann ich das schwache Gesetz der großen Zahlen (WLLN) und das kontinuierliche Mapping-Theorem verwenden, um das gewünschte Ergebnis zu erhalten. Ich glaube jedoch, dass das kontinuierliche Mapping-Theorem nicht verwendet werden kann. Stattdessen denke ich, dass das einheitliche Gesetz der großen Zahlen (ULLN) verwendet werden muss. Kennt jemand eine Referenz, die einen Beweis dafür hat? Ich habe einen Versuch an der ULLN, lasse ihn aber vorerst aus Gründen der Kürze weg.

Ich entschuldige mich für die Länge dieser Frage, aber die Notation muss eingeführt werden. Die Notation ist wie folgt (mein Beweis ist am Ende).

Angenommen, wir haben eine Stichprobe von Zufallsvariablen $\{Y_1,\ldots,Y_N\}$ mit Dichten $f(\tilde{Y}|\theta)$ , wobei $\theta\in\Theta\subseteq\mathbb{R}^{k}$ (hier ist $\tilde{Y}$ nur eine allgemeine Zufallsvariable mit derselben Dichte) als eines der Mitglieder der Stichprobe). Der Vektor ist der Vektor aller wobei für alle . Der wahre Parameterwert der Dichten ist$Y=(Y_1,\ldots,Y_N)^{T}$$Y_{i}\in\mathbb{R}^{n}$$i=1,\ldots,N$$\theta_{0}$, und ist der schwach konsistente Maximum-Likelihood-Schätzer (MLE) von . Unter den Bedingungen der Regelmäßigkeit kann die Fisher-Informationsmatrix wie folgt geschrieben werden$\hat{\theta}_{N}(Y)$$\theta_{0}$

Dabei ist die hessische Matrix. Das Beispieläquivalent ist${H}_{\theta}$

wobei . Die beobachtete Informationsmatrix ist;$I_{y_i}=-E_\theta \left[H_{\theta}(\log f(Y_{i}|\theta)\right]$

$J(\theta) = -H_\theta(\log f(y|\theta)$ ,

(Einige Leute fordern, dass die Matrix bei \ hat {\ theta} ausgewertet wird $\hat{\theta}$, andere nicht). Die beobachtete Beispielinformationsmatrix ist;

$J_N(\theta)=\sum_{i=1}^N J_{y_i}(\theta)$

wobei .$J_{y_i}(\theta)=-H_\theta(\log f(y_{i}|\theta)$

Ich kann eine Konvergenz der Wahrscheinlichkeit des Schätzers zu , aber nicht von zu . Hier ist mein Beweis soweit;$N^{-1}J_N(\theta)$$I(\theta)$$N^{-1}J_{N}(\hat{\theta}_N(Y))$$I(\theta_{0})$

Jetzt ist Element von für jedes . Wenn die Stichprobe iid ist, dann konvergiert der Durchschnitt dieser Summanden nach dem schwachen Gesetz der großen Zahlen (WLLN) mit der Wahrscheinlichkeit zu . Also für alle und so . Leider können wir nicht einfach auf$(J_{N}(\theta))_{rs}=-\sum_{i=1}^N (H_\theta(\log f(Y_i|\theta))_{rs}$$(r,s)$$J_N(\theta)$$r,s=1,\ldots,k$$-E_{\theta}[(H_\theta(\log f(Y_{1}|\theta))_{rs}]=(I_{Y_1}(\theta))_{rs}=(I(\theta))_{rs}$$N^{-1}(J_N(\theta))_{rs}\overset{P}{\rightarrow}(I(\theta))_{rs}$$r,s=1,\ldots,k$ N - 1 J N ( θ N (Y)) P → I( θ 0$N^{-1}J_N(\theta)\overset{P}{\rightarrow}I(\theta)$$N^{-1}J_{N}(\hat{\theta}_N(Y))\overset{P}{\rightarrow}I(\theta_0)$unter Verwendung des kontinuierlichen Abbildungssatzes, da nicht die gleiche Funktion wie .I ( ⋅ $N^{-1}J_{N}(\cdot)$$I(\cdot)$

Jede Hilfe hierzu wäre sehr dankbar.

$\newcommand{\convp}{\stackrel{P}{\longrightarrow}}$

Ein möglicher Ansatz ist es, direkt ein einheitliches Gesetz mit einer großen Anzahl von Zahlen aufzustellen.

Hier ist eine andere.

Wir wollen zeigen, dass .$\frac{J^N(\theta_{MLE})}{N} \convp I(\theta^*)$

(Wie Sie sagten, haben wir durch die WLLN das . Aber das hilft uns nicht direkt.)$\frac{J^N(\theta)}{N} \convp I(\theta)$

Eine mögliche Strategie besteht darin, zu zeigen, dass

und

Wenn beide Ergebnisse wahr sind, können wir sie kombinieren, um | zu erhalten I ( θ ∗ ) - J N ( θ M L E )

Das ist genau das, was wir zeigen wollen.

Die erste Gleichung folgt aus dem schwachen Gesetz der großen Zahlen.

Die zweite ergibt sich fast aus dem stetigen Mapping-Theorem, aber leider ist unsere Funktion dass wir die CMT auf Änderungen mit N anwenden wollen : unser g ist wirklich g N ( θ ) : = J N ( θ $g()$$N$$g$ . Daher können wir das CMT nicht verwenden.$g_N(\theta) := \frac{J^N(\theta)}{N}$

(Bemerkung: Wenn Sie den Beweis der CMT in Wikipedia untersuchen, bemerken Sie, dass die Menge sie in ihrem Beweis für uns definieren, jetzt auch von n abhängt . Wir brauchen im Wesentlichen eine Art Gleichkontinuität bei θ ∗ über unsere Funktionen g N ( θ ) .)$B_\delta$$n$$\theta^*$$g_N(\theta)$

Zum Glück, wenn Sie annehmen, dass die Familie ist bei θ ∗ stochastisch gleich stetig , dann folgt unmittelbar für θ M L E P M θ ∗ , | g n ( & thgr; M L E ) - g n ( & thgr; ∗ ) | P ≤$\mathcal{G} = \{g_N | N=1,2,\ldots\}$$\theta^*$$\theta_{MLE} \convp \theta^*$

(Siehe hier: http://www.cs.berkeley.edu/~jordan/courses/210B-spring07/lectures/stat210b_lecture_12.pdf für eine Definition der stochastischen Gleichkontinuität bei und einen Beweis der obigen Tatsache.)$\theta^*$

Unter der Annahme, dass bei θ ∗ SE ist , gilt das gewünschte Ergebnis, und die empirische Fisher-Information konvergiert mit der Fisher-Information der Grundgesamtheit.$\mathcal{G}$$\theta^*$

Die entscheidende Frage ist natürlich, welche Art von Bedingungen müssen Sie auferlegen , um SE zu erhalten? Eine Möglichkeit besteht darin, eine Lipshitz-Bedingung für die gesamte Funktionsklasse G zu erstellen (siehe hier: http://econ.duke.edu/uploads/media_items/uniform-convergence-and-stochastic-equicontinuity.original) .pdf ).$\mathcal{G}$$\mathcal{G}$

Die obige Antwort unter Verwendung der stochastischen Gleichzeitigkeit funktioniert sehr gut, aber hier beantworte ich meine eigene Frage, indem ich ein einheitliches Gesetz mit großen Zahlen verwende, um zu zeigen, dass die beobachtete Informationsmatrix ein stark konsistenter Schätzer der Informationsmatrix ist, dh wenn wir eine stark konsistente Folge von Schätzern einfügen . Ich hoffe es stimmt in allen Details.$N^{-1}J_{N}(\hat{\theta}_{N}(Y))\overset{a.s.}{\longrightarrow}I(\theta_{0})$

Wir verwenden ein Indexsatz zu sein, und lassen Sie uns annehmen vorübergehend die Notation J ( ~ Y , θ ) : = J ( θ ) , um über die Abhängigkeit des zu expliziten J ( θ ) auf dem Zufallsvektor ~ Y . Wir werden auch elementweise mit ( J ( ˜ Y , θ ) ) $I_{N}=\{1,2,...,N\}$$J(\tilde{Y},\theta):=J(\theta)$$J(\theta)$$\tilde{Y}$ und( J N (θ) ) , r s = Σ N i = 1 (J( Y i ,θ) ) r n ,r,s=1,. . . ,k, für diese Diskussion. Die Funktion(J(⋅,θ) ) r s ist auf der Menge R n × Θ reellwertig$(J(\tilde{Y},\theta))_{rs}$$(J_{N}(\theta))_{rs}=\sum\nolimits_{i=1}^{N}(J(Y_{i},\theta))_{rs}$$r,s=1,...,k$$(J(\cdot,\theta))_{rs}$ , und wir nehmen an, dass es Lebesgue ist, das für jedesθ∈ Θ ∘ messbar ist. Ein einheitliches (starkes) Gesetz großer Zahlen definiert eine Reihe von Bedingungen, unter denen$\mathbb{R}^{n}\times\Theta^{\circ}$$\theta\in\Theta^{\circ}$

$\underset{\theta\in\Theta}{\text{sup}}\left|N^{-1}(J_{N}(\theta))_{rs}-E_{\theta}\left[(J(Y_{1},\theta))_{rs}\right]\right|=\nonumber\\ \hspace{60pt}\underset{\theta\in\Theta}{\text{sup}}\left|N^{-1}\sum\nolimits_{i=1}^{N}(J(Y_{i},\theta))_{rs}-(I(\theta))_{rs}\right|\overset{a.s}{\longrightarrow}0\hspace{100pt}(1)$

Die Bedingungen, die in Reihenfolge erfüllt werden müssen , dass (1) hält , ist (a) ist ein kompakter Satz; (b) ( J ( ~ Y , θ ) ) , r s ist eine stetige Funktion auf & THgr; ∘ mit einer Wahrscheinlichkeit von 1; (c) für jedes θ ∈ Θ ∘ ( J ( ˜ Y , θ ) ) wird r s von einer Funktion h ( ˜ Y ) dominiert , dh | ( J ( ˜ Y$\Theta^{\circ}$$(J(\tilde{Y},\theta))_{rs}$$\Theta^{\circ}$$\theta\in \Theta^{\circ}$ $(J(\tilde{Y},\theta))_{rs}$$h(\tilde{Y})$ ; und (d) für jedes θ ∈ Θ ∘ E θ [ h ( ˜ Y ) ] < ∞ ; Diese Bedingungen stammen von Jennrich (1969, Satz 2).$|(J(\tilde{Y},\theta))_{rs}|<h(\tilde{Y})$$\theta\in \Theta^{\circ}$ $E_{\theta}[h(\tilde{Y})]<\infty$

Jetzt für jeden , i ∈ I N und θ ' ∈ S ⊆ & THgr; ∘ , offensichtlich die folgende Ungleichung gilt$y_{i}\in\mathbb{R}^{n}$$i\in I_{N}$$\theta'\in S\subseteq\Theta^{\circ}$

$\left|N^{-1}\sum\nolimits_{i=1}^{N}(J(y_{i},\theta'))_{rs}-(I(\theta'))_{rs}\right|\leq\underset{\theta\in S}{\text{sup}}\left|N^{-1}\sum\nolimits_{i=1}^{N}(J(y_{i},\theta))_{rs}-(I(\theta))_{rs}\right|.\hspace{50pt}(2)$

$\{\hat{\theta}_{N}(Y)\}$$\theta_{0}$$\Theta_{N_{1}}=B_{\delta_{N_{1}}}(\theta_{0})\subseteq K\subseteq \Theta^{\circ}$$\mathbb{R}^{k}$$\delta_{N_{1}}\rightarrow 0$$N_{1}\rightarrow\infty$$K$$\hat{\theta}_{N}(Y)\in \Theta_{N_{1}}$ for $N$ sufficiently large enough we have $P[\underset{N}{\text{lim}}\{\hat{\theta}_{N}(Y)\in\Theta_{N_{1}}\}]=1$ for sufficiently large $N$. Together with (2) this implies

$P\left[\underset{N\rightarrow\infty}{\text{lim}}\left\{\left|N^{-1}\sum\nolimits_{i=1}^{N}(J(Y_{i},\hat{\theta}_{N}(Y)))_{rs}-(I(\hat{\theta}_{N}(Y)))_{rs}\right|\leq\right.\right.\nonumber\\ \hspace{40pt}\left.\left.\underset{\theta\in\Theta_{N_{1}}}{\text{sup}}\left|N^{-1}\sum\nolimits_{i=1}^{N}(J(Y_{i},\theta))_{rs}-(I(\theta))_{rs}\right|\right\}\right]=1.\hspace{100pt}(3)$

Now $\Theta_{N_{1}}\subseteq\Theta^{\circ}$ implies conditions (a)-(d) of Jennrich (1969, Theorem 2) apply to $\Theta_{N_{1}}$. Thus (1) and (3) imply

$P\left[\underset{N\rightarrow\infty}{\text{lim}}\left\{\left|N^{-1}\sum\nolimits_{i=1}^{N}(J(Y_{i},\hat{\theta}_{N}(Y)))_{rs}-(I(\hat{\theta}_{N}(Y)))_{rs}\right|=0\right\}\right]=1.\hspace{100pt}(4)$

Since $(I(\hat{\theta}_{N}(Y)))_{rs}\overset{a.s.}{\longrightarrow}I(\theta_{0})$ then (4) implies that $N^{-1}(J_{N}(\hat{\theta}_{N}(Y)))_{rs}\overset{a.s.}{\longrightarrow}(I(\theta_{0}))_{rs}$. Note that (3) holds however small $\Theta_{N_{1}}$ is, and so the result in (4) is independent of the choice of $N_{1}$ other than $N_{1}$ must be chosen such that $\Theta_{N_{1}}\subseteq \Theta^{\circ}$. This result holds for all $r,s=1,...,k$, and so in terms of matrices we have $N^{-1}J_{N}(\hat{\theta}_{N}(Y))\overset{a.s.}{\longrightarrow}I(\theta_{0})$.