Jeffreys Prior für Binomialwahrscheinlichkeit

Wenn ich einen Jeffreys prior für einen Binomialwahrscheinlichkeitsparameter impliziert dies die Verwendung einer -Verteilung. $\theta$ $\theta \sim beta(1/2,1/2)$

Wenn ich auf einen neuen Bezugsrahmen - Transformations dann klar nicht auch als verteiltes Verteilung. $\phi = \theta^2$ $\phi$ $beta(1/2,1/2)$

Meine Frage ist, inwiefern ist Jeffreys vorher unveränderlich gegenüber Umparametrierungen? Ich glaube, ich verstehe das Thema falsch, um ehrlich zu sein ...

Beste,

Ben

bayesian jeffreys-prior

— ben18785
quelle

Jeffreys 'Prior ist in dem Sinne unveränderlich, dass das Beginnen mit einem Jeffreys Prior für eine Parametrisierung und das Ausführen der entsprechenden Änderung der Variablen identisch ist mit dem Ableiten des Jeffreys Prior direkt für diese neue Parametrisierung. Tatsächlich wäre eine äquivariante Bezeichnung angemessener als eine invariante .

— Xi'an

@ ben18785: werfen Sie einen Blick auf stats.stackexchange.com/questions/38962/…

— Zen

Siehe auch math.stackexchange.com/questions/210607/… (mehr oder weniger dieselbe Frage, denke ich, aber auf einer anderen Site).

— Nathaniel

Siehe auch stats.stackexchange.com/questions/139001/…

— Christoph Hanck

Wir haben , wobei eine monotone Funktion von und die Umkehrung von , so dass . Wir können Jeffreys vorherige Verteilung auf zwei Arten erhalten: $\phi = g(\theta)$ $g$ $\theta$ $h$ $g$ $\theta = h(\phi)$ $p_{J}(\phi)$

Beginnen Sie mit dem Binomialmodell (1) parametrisiert das Modell mit , um und erhalte Jeffreys vorherige Verteilung für dieses Modell. $p (y | θ) = (\binom{n}{y}) θ^{y} (1 - θ)^{n - y}$ $\begin{equation} \label{original} p(y | \theta) = \binom{n}{y} \theta^{y} (1-\theta)^{n-y} \end{equation}$ $\phi = g(\theta)$ $p (y | ϕ) = (\binom{n}{y}) h (ϕ)^{y} (1 - h (ϕ))^{n - y}$ $p(y | \phi) = \binom{n}{y} h(\phi)^{y} (1-h(\phi))^{n-y}$ $p_{J}(\phi)$
Erhalten Sie Jeffreys vorherige Verteilung aus dem ursprünglichen Binomialmodell 1 und wenden Sie die Formel zur Änderung der Variablen an, um die induzierte vorherige Dichte auf $p_{J}(\theta)$ $\phi$ $p_{J} (ϕ) = p_{J} (h (ϕ)) | \frac{d h}{d ϕ} | .$ $p_{J}(\phi) = p_{J}(h(\phi)) |\frac{dh}{d\phi}|.$

Für Reparametrisierungen unveränderlich zu sein bedeutet, dass die auf beide Arten abgeleiteten Dichten sein sollten. Jeffreys Prior hat diese Eigenschaft [Referenz: Ein erster Kurs in Bayesianischen statistischen Methoden von P. Hoff .] $p_{J}(\phi)$

Um Ihren Kommentar zu beantworten. Um Jeffreys vorherige Verteilung aus der Wahrscheinlichkeit für das Binomialmodell Wir müssen die Fisher-Informationen berechnen, indem wir den Logarithmus der Wahrscheinlichkeit und die zweite Ableitung von und Fisher-Informationen sind $p_{J}(\theta)$

p (y | θ) = (\binom{n}{y}) θ^{y} (1 - θ)^{n - y}

$p(y | \theta) = \binom{n}{y} \theta^{y} (1-\theta)^{n-y}$

l

$l$

l

$l$

\begin{aligned} l := \log (p (y | θ)) & \propto y \log (θ) + (n - y) \log (1 - θ) \\ \frac{\partial l}{\partial θ} & = \frac{y}{θ} - \frac{n - y}{1 - θ} \\ \frac{\partial^{2} l}{\partial θ^{2}} & = - \frac{y}{θ^{2}} - \frac{n - y}{(1 - θ)^{2}} \end{aligned}

$\begin{align*} l := \log(p(y | \theta)) &\propto y \log(\theta) + (n-y) \log(1-\theta) \\ \frac{\partial l }{\partial \theta} &= \frac{y}{\theta} - \frac{n-y}{1-\theta} \\ \frac{\partial^{2} l }{\partial \theta^{2}} &= -\frac{y}{\theta^{2}} - \frac{n-y}{ (1-\theta)^{2} } \end{align*}$

\begin{aligned} I (θ) & = - E (\frac{\partial^{2} l}{\partial θ^{2}} | θ) \\ = \frac{n θ}{θ^{2}} + \frac{n - n θ}{(1 - θ)^{2}} \\ = \frac{n}{θ (1 - θ)} \\ \propto θ^{- 1} (1 - θ)^{- 1} . \end{aligned}

$\begin{align*} I(\theta) &= -E(\frac{\partial^{2} l }{\partial \theta^{2}} | \theta) \\ &= \frac{n\theta}{\theta^{2}} + \frac{n - n \theta}{(1-\theta)^{2}} \\ &= \frac{n}{\theta ( 1- \theta)} \\ &\propto \theta^{-1} (1-\theta)^{-1}. \end{align*}$ Jeffreys Prior für dieses Modell ist das ist .

\begin{aligned} p_{J} (θ) & = \sqrt{I (θ)} \\ \propto θ^{- 1 / 2} (1 - θ)^{- 1 / 2} \end{aligned}

$\begin{align*} p_{J}(\theta) &= \sqrt{I(\theta)} \\ &\propto \theta^{-1/2} (1-\theta)^{-1/2} \end{align*}$

beta (1 / 2, 1 / 2)

$\texttt{beta}(1/2, 1/2)$

— Marko Lalović
quelle

Danke für deine Antwort. Ich fürchte, ich bin ein bisschen langsam. Inwiefern können wir aus einer Wahrscheinlichkeit einen Prior erhalten? Sie sind zwei getrennte Dinge, und das letztere impliziert nicht das erstere ...

— ben18785

Ich antwortete oben, indem ich aus der Wahrscheinlichkeit für das Binomialmodell das vorherige von Jeffrey erhielt .

p_{J} (θ)

$p_{J}(\theta)$

— Marko Lalović