Intuitive Erklärung von Fisher Information und Cramer-Rao gebunden

59

Ich bin mit Fisher-Informationen nicht einverstanden, was es misst und wie es hilfreich ist. Auch die Beziehung zu Cramer-Rao ist mir nicht klar.

Kann jemand bitte eine intuitive Erklärung dieser Konzepte geben?

estimation intuition fisher-information

— Unendlichkeit
quelle

1

Gibt es irgendetwas in dem Wikipedia-Artikel, das Probleme verursacht? Es misst die Informationsmenge, die eine beobachtbare Zufallsvariable

über einen unbekannten Parameter

thgr; trägt, von dem die Wahrscheinlichkeit von

abhängt, und ihre Inverse ist die Cramer-Rao-Untergrenze für die Varianz eines unverzerrten Schätzers von

.

X

$X$

θ

$\theta$

X

$X$

θ

$\theta$

— Henry

2

Ich verstehe das, aber ich fühle mich nicht wirklich wohl damit. Was genau bedeutet "Informationsmenge" hier? Warum misst die negative Erwartung des Quadrats der partiellen Ableitung der Dichte diese Information? Woher kommt der Ausdruck usw. Deshalb hoffe ich, eine gewisse Intuition darüber zu bekommen.

— Infinity

@Infinity: Der Score ist die proportionale Änderungsrate der Wahrscheinlichkeit, dass sich die beobachteten Daten ändern, wenn sich der Parameter ändert. Die Fisher-Information gibt die Varianz des (null-gemittelten) Scores an. Mathematisch ist es also die Erwartung des Quadrats der ersten Teilableitung des Logarithmus der Dichte und ebenso das Negativ der Erwartung der zweiten Teilableitung des Logarithmus der Dichte.

— Henry

32

Hier erkläre ich, warum die asymptotische Varianz des Maximum-Likelihood-Schätzers die Cramer-Rao-Untergrenze ist. Hoffentlich bietet dies einen Einblick in die Relevanz der Fisher-Informationen.

Die statistische Inferenz erfolgt unter Verwendung einer Wahrscheinlichkeitsfunktion die Sie aus den Daten konstruieren. Die Punktschätzung ist der Wert, maximiert . Der Schätzer eine Zufallsvariable ist , aber es hilft , zu erkennen , dass die Wahrscheinlichkeitsfunktion ist ein „random curve“. $\mathcal{L}(\theta)$ $\hat{\theta}$ $\mathcal{L}(\theta)$ $\hat{\theta}$ $\mathcal{L}(\theta)$

Hier nehmen wir iid-Daten an, die aus einer Verteilung , und definieren die Wahrscheinlichkeit $f(x|\theta)$

L (θ) = \frac{1}{n} \sum_{i = 1}^{n} \log f (x_{i} | θ)

$\mathcal{L}(\theta) = \frac{1}{n}\sum_{i=1}^n \log f(x_i|\theta)$

Der Parameter hat die Eigenschaft, dass er den Wert der "wahren" Wahrscheinlichkeit maximiert . Die "beobachtete" Wahrscheinlichkeitsfunktion die aus den Daten aufgebaut ist, ist jedoch geringfügig von der wahren Wahrscheinlichkeit "ab". Wie Sie sich vorstellen können, konvergiert die "beobachtete" Wahrscheinlichkeit mit zunehmender Stichprobengröße mit der Form der tatsächlichen Wahrscheinlichkeitskurve. Das gleiche gilt für die Ableitung des Likelihood in Bezug auf die Parameter, die Score - Funktion . (Um es kurz zu machen, die Fisher-Informationen bestimmen, wie schnell $\theta$ $\mathbb{E}\mathcal{L}(\theta)$ $\mathcal{L}(\theta)$ $\partial \mathcal{L}/\partial \theta$ Die beobachtete Bewertungsfunktion konvergiert zur Form der wahren Bewertungsfunktion.)

Bei einer großen Stichprobe, gehen wir davon aus, dass unsere Maximum - Likelihood - Schätzung sehr nahe ist . Wir zoomen Sie in einer kleinen Umgebung um und , so dass die Wahrscheinlichkeit , dass die Funktion „lokal quadratisch“ ist. $\hat{\theta}$ $\theta$ $\theta$ $\hat{\theta}$

$\hat{\theta}$ $\partial \mathcal{L}/\partial \theta$ $a$ $b$ $\theta$

a (\hat{θ} - θ) + b = 0

$a(\hat{\theta} - \theta) + b = 0$

oder

\hat{θ} = θ - b / a .

$\hat{\theta} = \theta - b/a .$

Aus der Konsistenz des MLE-Schätzers wissen wir das

E (\hat{θ}) = θ

$\mathbb{E}(\hat{\theta}) = \theta$

im Limit.

Daher asymptotisch

n V a r (\hat{θ}) = n V a r (b / a)

$nVar(\hat{\theta}) = nVar(b/a)$

$\theta$

n V a r (\hat{θ}) = \frac{1}{a^{2}} n V a r (b)

$nVar(\hat{\theta}) = \frac{1}{a^2}nVar(b)$

$a$ $nVar(b)$

- a = E [- \frac{\partial^{2} L}{\partial θ^{2}}] = I (θ)

$-a = \mathbb{E}\left[-\frac{\partial^2 \mathcal{L}}{\partial \theta^2}\right] = I(\theta)$

n V a r (b) = n V a r [\frac{\partial L}{\partial θ}] = I (θ)

$nVar(b) = nVar\left[\frac{\partial \mathcal{L}}{\partial \theta}\right] = I(\theta)$

Somit,

n V a r (\hat{θ}) = \frac{1}{a^{2}} n V a r (b) = (1 / I (θ)^{2}) I (θ) = 1 / I (θ)

$nVar(\hat{\theta}) = \frac{1}{a^2}nVar(b) = (1/I(\theta)^2)I(\theta) = 1/I(\theta)$

1 / I (θ)

$1/I(\theta)$

— charles.y.zheng
quelle

2

Gibt es eine grafische Darstellung des Teils, in dem Sie erwähnen, dass die Wahrscheinlichkeitsfunktion lokal quadratisch ist?

— Quirik

@quirik, erwäge, die Taylor-Erweiterung zweiter Ordnung um theta_hat zu verwenden.

— IDNAVID

@ charles.y.zheng Dies ist eine der interessantesten Erklärungen der Szene.

— IDNAVID

13

Eine Möglichkeit, wie ich die Fischerinformationen verstehe, ist die folgende Definition:

I (θ) = \int_{X} \frac{\partial^{2} f (x | θ)}{\partial θ^{2}} d x - \int_{X} f (x | θ) \frac{\partial^{2}}{\partial θ^{2}} \log [f (x | θ)] d x

$I(\theta)=\int_{\cal{X}} \frac{\partial^{2}f(x|\theta)}{\partial \theta^{2}}dx-\int_{\cal{X}} f(x|\theta)\frac{\partial^{2}}{\partial \theta^{2}}\log[f(x|\theta)]dx$

$f(x|\theta)$ $\cal{X}$ $\theta$ $\int_{\cal{X}} f(x|\theta)dx=1$

Wenn Sie nun eine Maximum-Likelihood-Schätzung durchführen (hier "Regularitätsbedingungen" einfügen), legen Sie fest

\frac{\partial}{\partial θ} \log [f (x | θ)] = 0

$\frac{\partial}{\partial \theta}\log[f(x|\theta)]=0$

$\theta$ $\theta$ $x$

Eine Sache, die ich immer noch neugierig finde, ist, dass es ist, wie steil die log-Wahrscheinlichkeit ist und nicht, wie steil eine andere monotone Funktion der Wahrscheinlichkeit ist (vielleicht im Zusammenhang mit "richtigen" Bewertungsfunktionen in der Entscheidungstheorie? Oder vielleicht mit den Konsistenzaxiomen der Entropie ?).

$\exp(-ax^{2})$

f (d a t a | θ) = \exp (\log [f (d a t a | θ)])

$f(data|\theta)=\exp(\log[f(data|\theta)])$

Und wenn Sie die Log-Wahrscheinlichkeit über die MLE erweitern:

f (d a t a | θ) \approx [f (d a t a | θ)]_{θ = θ_{M L E}} \exp (- \frac{1}{2} {[- \frac{\partial^{2}}{\partial θ^{2}} \log [f (d a t a | θ)]]}_{θ = θ_{M L E}} (θ - θ_{M L E})^{2})

$f(data|\theta)\approx [f(data|\theta)]_{\theta=\theta_{MLE}}\exp\left(-\frac{1}{2}\left[-\frac{\partial^{2}}{\partial \theta^{2}}\log[f(data|\theta)]\right]_{\theta=\theta_{MLE}}(\theta-\theta_{MLE})^{2}\right)$

- \frac{\partial^{2}}{\partial θ^{2}} \log [f (d a t a | θ)] = n (- \frac{1}{n} \sum_{i = 1}^{n} \frac{\partial^{2}}{\partial θ^{2}} \log [f (x_{i} | θ)]) \approx n I (θ)

$-\frac{\partial^{2}}{\partial \theta^{2}}\log[f(data|\theta)]=n\left(-\frac{1}{n}\sum_{i=1}^{n}\frac{\partial^{2}}{\partial \theta^{2}}\log[f(x_{i}|\theta)]\right)\approx nI(\theta)$

$\theta$

— Wahrscheinlichkeitslogik
quelle

1

"Eine Sache, die ich immer noch neugierig finde, ist die, wie steil die log-Wahrscheinlichkeit ist und nicht, wie steil eine andere monotone Funktion der Wahrscheinlichkeit ist." Ich bin sicher, Sie könnten Analoge für Fisher-Informationen in Bezug auf andere Transformationen der Wahrscheinlichkeit ableiten, aber dann würden Sie nicht so genau einen Ausdruck für die Cramer-Rao-Untergrenze erhalten.

— charles.y.zheng

2

Dies ist der intuitivste Artikel, den ich bisher gesehen habe:

Die Cramér-Rao-Untergrenze für Varianz: Adam und Evas „Unsicherheitsprinzip“ von Michael R. Powers, Journal of Risk Finance, Vol. 3, No. 7, No. 3, 2006

Die Grenze wird durch eine Analogie von Adam und Eva im Garten Eden erklärt, die eine Münze werfen, um zu sehen, wer die Frucht essen darf, und sich dann fragen, wie groß eine Probe ist, um ein bestimmtes Maß an Genauigkeit in ihrer Schätzung zu erreichen. und sie entdecken dann diese Grenze ...

Schöne Geschichte mit einer tiefen Botschaft über die Realität.

— vonjd
quelle

6

Vielen Dank für die Veröffentlichung dieser Referenz. Am Ende war ich jedoch enttäuscht, dass dies den CRLB nicht wirklich erklärt. Es sagt es lediglich aus, ohne einen Einblick zu geben, warum es wahr ist, und bietet nur eine evokative, aber letztendlich bedeutungslose Sprache, wie "Informationen zusammendrücken", um es zu erklären.

— Whuber

@whuber: Fair genug, ich stimme zu, dass es tiefer eintauchen könnte und das Ende etwas abrupt ist. Und doch , was ich über den Artikel ist , dass es wirklich natürlich scheint , dass es eine Verbindung zwischen Probengröße, Probe bedeuten, das Gesetz der großen Zahlen , und dass die Stichprobenvarianz kann nur auf einen Punkt reduziert werden (dh , dass es muss sein einige gebunden , was zufällig der oben erwähnte ist). Es wird auch deutlich, dass dies kein schwer fassbares mathematisches Ergebnis ist, sondern eine Aussage über die Grenzen der Erkenntnisgewinnung über die Realität.

— Vonjd

2

Obwohl die oben gegebenen Erklärungen sehr interessant sind und ich sie gerne durchgesehen habe, habe ich das Gefühl, dass mir die Natur der Cramer-Rao-Untergrenze aus geometrischer Sicht am besten erklärt wurde. Diese Intuition ist eine Zusammenfassung des Konzepts der Konzentrationsellipsen aus Kapitel 6 von Scharfs Buch über statistische Signalverarbeitung .

Betrachten Sie einen unvoreingenommenen Schätzer für . Nehmen Sie außerdem an, dass der Schätzer eine Gauß-Verteilung mit Kovarianz . Unter diesen Bedingungen ist die Verteilung von proportional zu: ${\boldsymbol\theta}$ $\hat{\boldsymbol\theta}$ ${\boldsymbol\Sigma}$ $\hat{\boldsymbol\theta}$

$f(\hat{\boldsymbol\theta})\propto \exp(-\frac{1}{2}(\hat{\boldsymbol\theta}-{\boldsymbol\theta})^T{\boldsymbol\Sigma}^{-1}(\hat{\boldsymbol\theta}-{\boldsymbol\theta}))$ .

Denken Sie nun an die Konturdiagramme dieser Verteilung für . Jede obere Beschränkung der Wahrscheinlichkeit von (dh ) führt zu einem Ellipsoid, das bei zentriert ist mit festem Radius . Es ist leicht zu zeigen, dass es eine Eins-zu-Eins-Beziehung zwischen dem Radius des Ellipsoids und der gewünschten Wahrscheinlichkeit . Mit anderen Worten, liegt in der Nähe von innerhalb eines Ellipsoids, das durch den Radius mit der Wahrscheinlichkeit ${\boldsymbol\theta}\in R^2$ $\hat{\boldsymbol\theta}$ $\int f(\hat{\boldsymbol\theta})d{\boldsymbol\theta} \le P_r$ ${\boldsymbol\theta}$ $r$ $r$ $P_r$ $\hat{\boldsymbol\theta}$ ${\boldsymbol\theta}$ $r$ $P_r$ . Dieses Ellipsoid wird als Konzentrationsellipsoid bezeichnet.

In Anbetracht der obigen Beschreibung können wir Folgendes zum CRLB sagen. Unter allen unverzerrten Schätzern repräsentiert der CRLB einen Schätzer mit einer Kovarianz , der für eine feste Wahrscheinlichkeit der "Nähe" (wie oben definiert) die kleinste hat Konzentrationsellipsoid. Die folgende Abbildung zeigt eine 2D-Darstellung (inspiriert von der Darstellung in Scharfs Buch ). $\hat{\boldsymbol\theta}_{crlb}$ $\boldsymbol\Sigma_{crlb}$ $P_r$

— idnavid
quelle

2

Das ist verdammt gut, besonders das Bild braucht mehr positive Stimmen.

— Astrid