Beziehung zwischen der Hessischen Matrix und der Kovarianzmatrix

Während ich die Maximum-Likelihood-Schätzung studiere, müssen wir die Varianz kennen, um Rückschlüsse auf die Maximum-Likelihood-Schätzung zu ziehen. Um die Varianz herauszufinden, muss ich die untere Grenze des Cramer-Rao kennen, die wie eine hessische Matrix mit zweiter Ableitung auf der Krümmung aussieht. Ich bin irgendwie durcheinander, um die Beziehung zwischen Kovarianzmatrix und Hessischer Matrix zu definieren. Ich hoffe, einige Erklärungen zu dieser Frage zu hören. Ein einfaches Beispiel wird geschätzt.

— user122358
quelle

Sie sollten zuerst diese grundlegende Frage zur Fisher-Informationsmatrix und zur Beziehung zu Hessischen und Standardfehlern lesen

Angenommen, wir haben ein statistisches Modell (Verteilungsfamilie) . Im allgemeinsten Fall haben wir , daher wird diese Familie durch parametrisiert . Unter bestimmten Regelmäßigkeitsbedingungen haben wir $\{f_{\theta}: \theta \in \Theta\}$ $dim(\Theta) = d$ $\theta = (\theta_1, \dots, \theta_d)^T$

I_{i, j} (θ) = - E_{θ} [\frac{\partial^{2} l (X; θ)}{\partial θ_{i} \partial θ_{j}}] = - E_{θ} [H_{i, j} (l (X; θ))]

$I_{i,j}(\theta) = -E_{\theta}\Big[\frac{\partial^2 l(X; \theta)}{\partial\theta_i\partial\theta_j}\Big] = -E_\theta\Big[H_{i,j}(l(X;\theta))\Big]$

Dabei ist eine Fisher-Informationsmatrix (als Funktion von ) und der beobachtete Wert (Probe). $I_{i,j}$ $\theta$ $X$

l (X; θ) = l n (f_{θ} (X)), for some θ \in Θ

$l(X; \theta) = ln(f_{\theta}(X)),\text{ for some } \theta \in \Theta$

Die Fisher-Informationsmatrix ist also ein negierter erwarteter Wert von Hesian der logarithmischen Wahrscheinlichkeit unter einigen $\theta$

Nehmen wir nun an, wir wollen eine Vektorfunktion des unbekannten Parameters schätzen . Normalerweise ist es erwünscht, dass der Schätzer unverzerrt ist, d. H. $\psi(\theta)$ $T(X) = (T_1(X), \dots, T_d(X))$

\forall_{θ \in Θ} E_{θ} [T (X)] = ψ (θ)

$\forall_{\theta \in \Theta}\ E_{\theta}[T(X)] = \psi(\theta)$

Cramer Rao Lower Bound gibt an, dass für jedes unverzerrte das erfüllt ist $T(X)$ $cov_{\theta}(T(X))$

c o v_{θ} (T (X)) \geq \frac{\partial ψ (θ)}{\partial θ} I^{- 1} (θ) (\frac{\partial ψ (θ)}{\partial θ})^{T} = B (θ)

$cov_{\theta}(T(X)) \ge \frac{\partial\psi(\theta)}{\partial\theta}I^{-1}(\theta)\Big(\frac{\partial\psi(\theta)}{\partial\theta}\Big)^T = B(\theta)$

wobei für Matrizen bedeutet , daß ist positiv semidefinit , $A \ge B$ $A - B$ ist einfach ein Jacobi. Es ist zu beachten, dass, wenn wirschätzen, das heißt, oben zu vereinfachen $\frac{\partial\psi(\theta)}{\partial\theta}$ $J_{i,j}(\psi)$ $\theta$ $\psi(\theta) = \theta$

c o v_{θ} (T (X)) \geq I^{- 1} (θ)

$cov_{\theta}(T(X)) \ge I^{-1}(\theta)$

Aber was sagt es uns wirklich? Denken Sie zum Beispiel daran

v a r_{θ} (T_{i} (X)) = [c o v_{θ} (T (X))]_{i, i}

$var_{\theta}(T_i(X)) = [cov_{\theta}(T(X))]_{i,i}$

$A$

\forall_{i} A_{i, i} \geq 0

$\forall_i\ A_{i,i} \ge 0$

$B(\theta)$

\forall_{ich} v ein r_{θ} ({T.}_{ich} (X.)) \geq [B. (θ) {]]}_{ich, ich}

$\forall_i\ var_{\theta}(T_i(X)) \ge [B(\theta)]_{i,i}$

CRLB sagt uns also nicht die Varianz unseres Schätzers, aber ob unser Schätzer optimal ist oder nicht , dh ob er die niedrigste Kovarianz unter allen unvoreingenommenen Schätzern aufweist.

— Łukasz Grad
quelle

Ich freue mich über Ihre Erklärung hier. Ich bin nicht wirklich ein Mathematiker, aber ich bin im Weg, die Mathematik ernsthaft zu lernen. Für mich sieht es jedoch immer noch zu abstrakt aus. Ich hoffe, es gibt ein sanftes Beispiel mit einfachen Zahlen, das es definitiv verstehen wird.

— Benutzer122358