Warum genau werden die beobachteten Fisher-Informationen verwendet?

17

In der Standard - Maximalwahrscheinlichkeitseinstellung (iid Stichprobe aus einer Verteilung mit der Dichte $Y_{1}, \ldots, Y_{n}$ $f_{y}(y|\theta_{0}$ )) und im Fall eines korrekt spezifizierten Modells wird die Fisher-Information durch gegeben

I (θ) = - E_{θ_{0}} [\frac{\partial^{2}}{θ^{2}} \ln f_{y} (θ)]

$I(\theta) = -\mathbb{E}_{\theta_{0}}\left[\frac{\partial^{2}}{\theta^{2}}\ln f_{y}(\theta) \right]$

wobei die Erwartung in Bezug auf die wahre Dichte genommen wird, die die Daten erzeugt hat. Ich habe gelesen, dass die Fisher-Informationen beachtet werden

\hat{J} (θ) = - \frac{\partial^{2}}{θ^{2}} \ln f_{y} (θ)

$\hat{J}(\theta) = -\frac{\partial^{2}}{\theta^{2}}\ln f_{y}(\theta)$

wird primär verwendet, da das zur Berechnung der (erwarteten) Fisher-Informationen verwendete Integral in einigen Fällen möglicherweise nicht realisierbar ist. Was mich verwirrt, ist, dass selbst wenn das Integral machbar ist, die Erwartung in Bezug auf das wahre Modell genommen werden muss, das den unbekannten Parameterwert . Wenn dies der Fall ist, scheint es, dass es unmöglich ist, zu berechnen , ohne thgr zu kennen . Ist das wahr? $\theta_{0}$ $\theta_{0}$ $I$

maximum-likelihood fisher-information

— user2249626
quelle

13

Sie haben vier quanties hier bekommen: die wahren Parameter , der eine konsistente Schätzung , die erwartete Information bei und der beobachtete Information bei . Diese Größen sind nur asymptotisch äquivalent, werden aber typischerweise so verwendet. $\theta_0$ $\hat \theta$ $I(\theta)$ $\theta$ $J(\theta)$ $\theta$

Die beobachtete Information
$J (θ_{0}) = \frac{1}{N} \sum_{i = 1}^{N} \frac{\partial^{2}}{\partial θ_{0}^{2}} \ln f (y_{i} | θ_{0})$ $J (\theta_0) = \frac{1}{N} \sum_{i=1}^N \frac{\partial^2}{\partial \theta_0^2} \ln f( y_i|\theta_0)$ $I (θ_{0}) = E_{θ_{0}} [\frac{\partial^{2}}{\partial θ_{0}^{2}} \ln f (y | θ_{0})]$ $I(\theta_0) = E_{\theta_0} \left[ \frac{\partial^2}{\partial \theta_0^2} \ln f( y| \theta_0) \right]$ $Y$ $f(\theta_0)$ $E_{\theta_0} (x)$ $\theta_0$ $\int x f(x | \theta_0) dx$ . This convergence holds because of the law of large numbers, so the assumption that $Y \sim f(\theta_0)$ is crucial here.
When you've got an estimate $\hat \theta$ that converges in probability to the true parameter $\theta_0$ (ie, is consistent) then you can substitute it for anywhere you see a $\theta_0$ above, essentially due to the continuous mapping theorem $^*$ , and all of the convergences continue to hold.

$^*$ Actually, it appears to be a bit subtle.

Remark

As you surmised, observed information is typically easier to work with because differentiation is easier than integration, and you might have already evaluated it in the course of some numeric optimization. In some circumstances (the Normal distribution) they will be the same.

The article "Assessing the Accuracy of the Maximum Likelihood Estimator: Observed Versus Expected Fisher Information" by Efron and Hinkley (1978) makes an argument in favor of the observed information for finite samples.

— Andrew M
quelle

4

There have been some simulation studies that appear supportive of Efron & Hinkley's theoretical observations (which are mentioned in Andrew's answer), here's one I know of offhand: Maldonado, G. and Greenland, S. (1994). A comparison of the performance of model-based confidence intervals when the correct model form is unknown. Epidemiology, 5, 171-182. I've not seen any studies that conflict. It is interesting then that standard GLM packages I know of use expected information to compute Wald intervals. Of course this is not an issue when (as in GLMs linear in the natural parameter) the observed and expected information matrices are equal.

— Sander Greenland
quelle