Woher können konjugierte Priors neben der exponentiellen Familie noch kommen?

Müssen alle konjugierten Prioren aus der exponentiellen Familie stammen? Wenn nicht, welche anderen Familien haben / produzieren konjugierte Priors?

bayesian conjugate-prior

— Josh
quelle

Wie zum Beispiel in Abschnitt 3.3.3 des Buches "The Bayesian Choice" von Christian Robert erläutert, besteht zwar ein enger Zusammenhang zwischen Exponentialfamilien und konjugierten Priors, für bestimmte nicht exponentielle Familien stehen jedoch konjugierte Priors zur Verfügung. Er nennt diese jedoch "quasi-exponentiell", da es sich um Familien handelt, für die ausreichende Statistiken der endlichen Dimension existieren, die mit der Stichprobengröße nicht zunehmen.

Hier ist ein Beispiel für die Gleichverteilung, deren Unterstützung vom Parameter der Verteilung abhängt und daher keine exponentielle Familie sein kann (bekanntlich):

Hier ist die Pareto-Verteilung ein Konjugat vor dem Parameter der Gleichverteilung auf . $b$ $[0,b]$

Die Dichte der Pareto-Verteilung mit den Parametern und ist für und sonst. $c>0$ $% \alpha >0$

f (x) = α c^{α} x^{- α - 1}

$\begin{equation*} f(x)=\alpha c^{\alpha }x^{-\alpha -1} \end{equation*}$

x \geq c

$x\geq c$

f (x) = 0

$f(x)=0$

Der Prior des Parameters einer Gleichverteilung auf ist eine Pareto-Verteilung mit und , Die Wahrscheinlichkeit für die Daten , gegeben mit , ist $b$ $[0,b]$ $c_{0}$ $\alpha _{0}$

\begin{array}{rcl} π (b) & = & {\begin{cases} α_{0} c_{0}^{α_{0}} b^{- α_{0} - 1} & if b \geq c_{0} \\ 0 & else. \end{cases} \\ \propto & {\begin{cases} b^{- α_{0} - 1} & if b \geq c_{0} \\ 0 & else. \end{cases} \end{array}

$\begin{eqnarray*} \pi (b) &=& \left\{ \begin{array}{ll} \alpha _{0}c_{0}^{\alpha _{0}}b ^{-\alpha _{0}-1} & \quad \text{if } b \geq c_{0} \\ 0 & \quad \text{else.}% \end{array} \right. \\ &\propto &\left\{ \begin{array}{ll} b ^{-\alpha _{0}-1} & \quad \text{if }b \geq c_{0} \\ 0 & \quad \text{else.}% \end{array}% \right. \end{eqnarray*}$

y_{1}, \dots, y_{n}

$y_{1},\ldots ,y_{n}$

b

$b$

f (y | b) = {\begin{cases} \prod_{i = 1}^{n} \frac{1}{b} = b^{- n} & if 0 \leq y_{i} \leq b for all i = 1, \dots, n \\ 0 & else. \end{cases}

$\begin{equation*} f\left( y |b\right) = \left\{ \begin{array}{ll} \prod_{i=1}^{n}\frac{1}{b }=b ^{-n} & \quad \text{if }0\leq y_{i}\leq b \text{ for all }i=1,\ldots ,n \\ 0 & \quad \text{else.}% \end{array}% \right. \end{equation*}$ Das Produkt aus Wahrscheinlichkeit und Prior ist der nicht normalisierte Posterior

\begin{array}{rcl} π (b | y) & \propto & π (b) f (y | b) \\ = & {\begin{cases} α_{0} c_{0}^{α_{0}} b^{- α_{0} - 1} b^{- n} & if b \geq c_{0} and 0 \leq y_{i} \leq b for all i = 1, \dots, n \\ 0 & else. \end{cases} \\ \propto & {\begin{cases} b^{- α_{0} - n - 1} & if b \geq c_{0} and 0 \leq y_{i} \leq b for all i = 1, \dots, n \\ 0 & else. \end{cases} \\ \propto & {\begin{cases} b^{- α_{1} - 1} & if b \geq c_{1} \\ 0 & else. \end{cases} \end{array}

$\begin{eqnarray*} \pi \left( b |y\right) &\propto &\pi (b )f\left( y |b\right) \\ &=&\left\{ \begin{array}{ll} \alpha _{0}c_{0}^{\alpha _{0}}b ^{-\alpha _{0}-1}b ^{-n} & \quad \text{if }b \geq c_{0}\text{ and }0\leq y_{i}\leq b \text{ for all }i=1,\ldots ,n \\ 0 & \quad \text{else.}% \end{array}% \right. \\ &\propto &\left\{ \begin{array}{ll} b ^{-\alpha _{0}-n-1} & \quad \text{if }b \geq c_{0}\text{ and }% 0\leq y_{i}\leq b \text{ for all }i=1,\ldots ,n \\ 0 & \quad \text{else.}% \end{array}% \right. \\ &\propto &\left\{ \begin{array}{ll} b ^{-\alpha _{1}-1} & \quad \text{if }b \geq c_{1} \\ 0 & \quad \text{else.}% \end{array}% \right. \end{eqnarray*}$ mit

\begin{array}{rcl} α_{1} & = & α_{0} + n \\ c_{1} & = & max (max_{i} y_{i}, c_{0}) . \end{array}

$\begin{eqnarray*} \alpha _{1} &=&\alpha _{0}+n \\ c_{1} &=&\max\bigl(\max_{i}y_{i},c_0\bigr). \end{eqnarray*}$ Daher ist der hintere Teil Pareto verteilt.

— Christoph Hanck
quelle

(+1) Wenn es also eine ausreichende Statistik mit konstanter Dimension gibt, gibt es ein konjugiertes Prior?

— Scortchi - Monica wieder einsetzen

Sehr interessante Frage - ich weiß es nicht! Meine Antwort liefert nur ein Beispiel dafür, dass die Zugehörigkeit zu einer exponentiellen Familie keine notwendige Voraussetzung für die Existenz eines konjugierten Prior ist. Die Antwort würde mich sehr interessieren, bitte stellen Sie dies als separate Frage!

— Christoph Hanck

Ich habe das Gefühl, dass es so sein muss, damit das Update funktioniert. Ich werde auf jeden Fall eine Frage stellen, wenn ich keine Buchantwort finde.

— Scortchi - Monica wieder einsetzen

@Scortchi: ja in der Tat, denn wenn es eine ausreichende statistische fester Dimension existiert dann sind wir in einer exponentiellen Familie, wie von der etablierten Pitman-Koopman-Darmois Lemma.

— Xi'an

Lässt dies nicht das Qualifikationsmerkmal aus: "Unter allen Familien, deren Unterstützung nicht vom Parameter abhängt", siehe auch das obige Beispiel?

— Christoph Hanck