Beobachtete Fisher-Informationen während einer Transformation

Aus "In All Likelihood: Statistische Modellierung und Inferenz unter Verwendung von Likelihood" von Y. Pawitan wird die Wahrscheinlichkeit einer Neuparametrisierung als so dass, wenn eins zu eins ist, (S. 45). Ich versuche, Übung 2.20 zu zeigen, die besagt, dass wenn skalar ist (und ich nehme an, dass auch eine Skalarfunktion sein soll), wobei $\theta\mapsto g(\theta)=\psi$

L^{*} (ψ) = max_{{θ : g (θ) = ψ}} L (θ)

$L^*(\psi)=\max_{\{\theta:g(\theta)=\psi\}} L(\theta)$

g

$g$

L^{*} (ψ) = L (g^{- 1} (ψ))

$L^*(\psi)=L(g^{-1}(\psi))$

θ

$\theta$

g

$g$

I^{*} (g (\hat{θ})) = I (\hat{θ}) {| \frac{\partial g (\hat{θ})}{\partial \hat{θ}} |}^{- 2},

$I^*(g(\hat{\theta}))=I(\hat{\theta})\left|\frac{\partial g(\hat{\theta})}{\partial \hat{\theta}}\right|^{-2},$

I (θ) = - \frac{\partial^{2}}{\partial θ^{2}} l (θ)

$I(\theta)=-\frac{\partial^2}{\partial\theta^2} l(\theta)$ ist die beobachtete Fisher-Information und

l (θ) = \log L (θ)

$l(\theta)=\log L(\theta)$ .

Wenn $g$ eins zu eins ist, ist dies unter Verwendung der Kettenregel und des Invarianzprinzips einfach. Ich wundere mich nur über ein paar Dinge:

Warum besteht er darauf, den absoluten Wert zu schreiben? Das könnte weggelassen werden, oder?
Mit $\frac{\partial g(\hat{\theta})}{\partial \hat{\theta}}$ meint er die Funktion $\frac{\partial g(\theta)}{\partial \theta}$ die bei ausgewertet wird $\theta=\hat{\theta}$ , richtig? Wenn dies der Fall ist, ist es dann nicht eine schlechte Wahl der Notation? Ich glaube, dass die übliche Kurzschreibweise für dieses Wor lautet $\frac{\partial g(\hat{\theta})}{\partial \theta}$ .
Wie wird dies gezeigt, wenn $g$ nicht unbedingt eins zu eins ist?

— Stefan Hansen
quelle

Der absolute Wert ist nicht erforderlich. Es kann nur ein Tippfehler sein.
Du hast Recht. Eine noch bessere Notation wäre . $\frac{dg(\theta)}{d\theta}\Bigg|_{\theta=\hat{\theta}}$
Es gilt im Allgemeinen nicht. einige und definieren Sie durch . Die rhs wären undefiniert, da die Ableitung für jedes Null ist . $\psi_0$ $g:\mathbb{R}\to\mathbb{R}$ $g(\theta)=\psi_0$ $\theta$

Eine Skizze des regulären Falles:

Für glattes Eins-zu-Eins- mit . Da , haben wir Daher $g$ $\psi=g(\theta)$ $d/d\psi = d\theta/d\psi\cdot d/d\theta$

\begin{aligned} I^{*} (ψ) & = - \frac{d^{2} L^{*} (ψ)}{d ψ^{2}} = - \frac{d}{d ψ} (\frac{d L^{*} (ψ)}{d ψ}) = - \frac{d}{d ψ} (\frac{d L^{*} (ψ)}{d θ} \frac{d θ}{d ψ}) \\ = - \frac{d^{2} L^{*} (ψ)}{d θ^{2}} {(\frac{d θ}{d ψ})}^{2} - \frac{d L^{*} (ψ)}{d θ} \frac{d^{2} θ}{d ψ^{2}} \frac{d θ}{d ψ} . \end{aligned}

$\begin{align} I^*(\psi) &= -\frac{d^2L^*(\psi)}{d\psi^2} = -\frac{d}{d\psi}\left(\frac{dL^*(\psi)}{d\psi} \right) = -\frac{d}{d\psi}\left(\frac{dL^*(\psi)}{d\theta} \frac{d\theta}{d\psi}\right) \\ &= - \frac{d^2L^*(\psi)}{d\theta^2}\left(\frac{d\theta}{d\psi}\right)^2 - \frac{dL^*(\psi)}{d\theta}\frac{d^2\theta}{d\psi^2} \frac{d\theta}{d\psi}\, . \end{align}$

\begin{aligned} I^{*} (g (\hat{θ})) & = - \frac{d^{2} L^{*} (g (\hat{θ}))}{d θ^{2}} {(\frac{d θ}{d ψ})}^{2} - \frac{d L^{*} (g (\hat{θ}))}{d θ} \frac{d^{2} θ}{d ψ^{2}} \frac{d θ}{d ψ} \\ = - \frac{d^{2} L (g^{- 1} (g (\hat{θ})))}{d θ^{2}} {(\frac{d g (θ)}{d θ} |_{θ = g^{- 1} (g (\hat{θ}))})}^{- 2} - \frac{d L (g^{- 1} (g (\hat{θ})))}{d θ} \frac{d^{2} θ}{d ψ^{2}} \frac{d θ}{d ψ} \\ = I (\hat{θ}) {(\frac{d g (θ)}{d θ} |_{θ = \hat{θ}})}^{- 2}, \end{aligned}

$\begin{align} I^*(g(\hat{\theta})) &= -\frac{d^2L^*(g(\hat{\theta}))}{d\theta^2}\left(\frac{d\theta}{d\psi}\right)^2 - \frac{dL^*(g(\hat{\theta}))}{d\theta}\frac{d^2\theta}{d\psi^2} \frac{d\theta}{d\psi} \\ &= -\frac{d^2L(g^{-1}(g(\hat{\theta})))}{d\theta^2} \left(\frac{dg(\theta)}{d\theta}\Bigg|_{\theta=g^{-1}(g(\hat{\theta}))}\right)^{-2} - \frac{dL(g^{-1}(g(\hat{\theta})))}{d\theta}\frac{d^2\theta}{d\psi^2} \frac{d\theta}{d\psi} \\ &= I(\hat{\theta}) \left(\frac{dg(\theta)}{d\theta}\Bigg|_{\theta=\hat{\theta}}\right)^{-2} \, , \end{align}$ in dem wir .

d L (g^{- 1} (g (\hat{θ}))) / d θ = d L (\hat{θ}) / d θ = 0

$dL(g^{-1}(g(\hat{\theta})))/d\theta=dL(\hat{\theta})/d\theta=0$

— Zen
quelle

Vielen Dank, dass Sie alle meine Zweifel angesprochen haben und für dieses einfache Gegenbeispiel mit der Konstanten . Ihre Skizze des regulären Falls ähnelt der, die ich gemacht habe, also ist alles gut. Vielen Dank.

g

$g$

— Stefan Hansen