Beispiel für einen Prior, der im Gegensatz zu Jeffreys zu einem nicht invarianten Posterior führt

Ich reposte eine "Antwort" auf eine Frage, die ich vor zwei Wochen hier gestellt hatte: Warum ist der Jeffreys Prior nützlich? Es war wirklich eine Frage (und ich hatte zu der Zeit auch nicht das Recht, Kommentare zu posten), also hoffe ich, dass es in Ordnung ist, dies zu tun:

In der obigen Verknüpfung wird diskutiert, dass das interessante Merkmal von Jeffreys Prior darin besteht, dass bei der Neuparametrisierung des Modells die resultierende posteriore Verteilung posteriore Wahrscheinlichkeiten ergibt, die den durch die Transformation auferlegten Einschränkungen entsprechen. Sprich, wie es diskutiert wird , wenn sie von der Erfolgswahrscheinlichkeit zu bewegen $\theta$ in dem Beta-Bernoulli Beispiel odds $\psi=\theta/(1-\theta)$ , sollte es der Fall sein , dass das eine posteriore erfüllt $P(1/3\leq\theta\leq 2/3\mid X=x)=P(1/2\leq\psi\leq 2\mid X=x)$ .

Ich wollte ein numerisches Beispiel für die Invarianz von Jeffreys erstellen, bevor ich $\theta$ in Odds $\psi$ umwandelte , und interessanterweise das Fehlen anderer Prioritäten (z. B. Haldane, Uniform oder willkürliche).

Wenn der hintere Wert für die Erfolgswahrscheinlichkeit Beta ist (für alle vorherigen Beta-Werte, nicht nur für Jeffreys), folgt der hintere Wert der Quote einer Beta-Verteilung der zweiten Art (siehe Wikipedia) mit denselben Parametern . Dann ist es, wie im folgenden numerischen Beispiel hervorgehoben, (zumindest für mich) nicht verwunderlich, dass es für jede Beta-Prior-Wahl (Herumspielen mit alpha0_Uund beta0_U) eine Invarianz gibt , nicht nur für Jeffreys, vgl. die Ausgabe des Programms.

library(GB2) 
# has the Beta density of the 2nd kind, the distribution of theta/(1-theta) if theta~Beta(alpha,beta)

theta_1 = 2/3 # a numerical example as in the above post
theta_2 = 1/3

odds_1 = theta_1/(1-theta_1) # the corresponding odds
odds_2 = theta_2/(1-theta_2)

n = 10 # some data
k = 4

alpha0_J = 1/2 # Jeffreys prior for the Beta-Bernoulli case
beta0_J = 1/2
alpha1_J = alpha0_J + k # the corresponding parameters of the posterior
beta1_J = beta0_J + n - k

alpha0_U = 0 # some other prior
beta0_U = 0
alpha1_U = alpha0_U + k # resulting posterior parameters for the other prior
beta1_U = beta0_U + n - k

# posterior probability that theta is between theta_1 and theta_2:
pbeta(theta_1,alpha1_J,beta1_J) - pbeta(theta_2,alpha1_J,beta1_J) 
# the same for the corresponding odds, based on the beta distribution of the second kind
pgb2(odds_1, 1, 1,alpha1_J,beta1_J) - pgb2(odds_2, 1, 1,alpha1_J,beta1_J) 

# same for the other prior and resulting posterior
pbeta(theta_1,alpha1_U,beta1_U) - pbeta(theta_2,alpha1_U,beta1_U)
pgb2(odds_1, 1, 1,alpha1_U,beta1_U) - pgb2(odds_2, 1, 1,alpha1_U,beta1_U)

Dies bringt mich zu den folgenden Fragen:

1. Mache ich einen Fehler?
2. Wenn nein, gibt es ein Ergebnis, bei dem es in konjugierten Familien nicht an Invarianz mangelt, oder so etwas? (Eine schnelle Inspektion lässt mich vermuten, dass ich beispielsweise auch im Normal-Normal-Fall keine mangelnde Invarianz erzeugen könnte.)
3. Kennen Sie ein (vorzugsweise einfaches) Beispiel , in dem wir zu tun Mangel bekommen von Invarianz?

$p(\theta)$ die folgenden zwei Prozeduren

1. $p_{\theta \mid D}(\theta \mid D)$
2. $p_{\psi \mid D}(\psi \mid D)$

und

1. $p_\theta(\theta)$$p_\psi(\psi)$
2. $p_\psi(\psi)$$p_{\psi \mid D}(\psi \mid D)$

$\psi$$\psi$$\theta$ ).

Dies ist jedoch nicht der Punkt der fraglichen Invarianz. Stattdessen stellt sich die Frage, ob bei einer bestimmten Methode zur Prioritätsbestimmung die folgenden beiden Verfahren angewendet werden:

1. Verwenden Sie die Methode zur Bestimmung des Prior, um zu bestimmen.$p_\theta(\theta)$
2. $p_\psi(\psi)$

und

1. $p_\psi(\psi)$

$\psi$

$\theta$$[0,1]$$\psi$$[0,\infty)$

$\theta$$\psi$$\psi$

Anscheinend überprüfen Sie, ob die durch die Daten verursachten Wahrscheinlichkeiten von der Parametrisierung unberührt bleiben, was nichts mit der vorherigen zu tun hat.

Wenn Sie bei der Auswahl der Prioritäten z. B. "Uniform Prior" wählen, ist das, was unter einer Parametrisierung (z. B. Beta, dh Beta (1,1)) einheitlich ist, unter einer anderen, z. B. BetaPrime (1,1), nicht einheitlich ) (das ist schief) - es ist BetaPrime (1, -1) ist einheitlich, wenn so etwas existiert.

Der Jeffreys Prior ist der einzige "Weg, Prioren zu wählen", der unter Reparametrisierung unveränderlich ist. Daher ist es weniger anmaßend als jede andere Art, Prioritäten zu wählen.