Kann jemand konjugierte Prioren auf einfachste Weise erklären?

Ich habe eine Weile versucht, die Idee der konjugierten Prioritäten in der Bayes'schen Statistik zu verstehen, aber ich verstehe es einfach nicht. Kann jemand die Idee auf einfachste Weise erklären, vielleicht am Beispiel des "Gaußschen Prior"?

Ein Prior für einen Parameter hat fast immer eine bestimmte funktionale Form (in Bezug auf die Dichte im Allgemeinen geschrieben). Angenommen, wir beschränken uns auf eine bestimmte Familie von Distributionen. In diesem Fall reduziert sich die Auswahl unseres Prior auf die Auswahl der Parameter dieser Familie.

Man betrachte zum Beispiel ein normales Modell $Y_i \stackrel{_\text{iid}}{\sim} N(\mu,\sigma^2)$ . Nehmen wir der Einfachheit halber auch $\sigma^2$ als bekannt an. Dieser Teil des Modells - das Modell für die Daten - bestimmt die Wahrscheinlichkeitsfunktion.

Um unser Bayes'sches Modell zu vervollständigen, benötigen wir hier einen Prior für $\mu$ .

Wie oben erwähnt, können wir häufig eine Verteilungsfamilie für unseren Prior für μ angeben$\mu$ und dann müssen wir nur die Parameter dieser Verteilung auswählen (zum Beispiel können häufig vorherige Informationen ziemlich vage sein - wie etwa, wo wir die Wahrscheinlichkeit der Konzentration haben möchten - statt einer sehr spezifischen funktionalen Form, und wir haben möglicherweise genug Freiheit, um zu modellieren, was wir wollen, indem wir die Parameter auswählen (zum Beispiel um einen früheren Mittelwert und eine Varianz abzugleichen).

Wenn sich herausstellt, dass der hintere Teil für $\mu$ aus derselben Familie wie der vorherige stammt, wird dieser vorherige als "konjugiert" bezeichnet.

(Was es konjugiert, ist die Art und Weise, wie es sich mit der Wahrscheinlichkeit verbindet.)

Nehmen wir also in diesem Fall einen Gaußschen Prior für $\mu$ (sagen wir $\mu\sim N(\theta,\tau^2)$ ). Wenn wir das tun, sehen wir, dass der hintere Teil für $\mu$ ebenfalls Gauß ist. Folglich war der Gaußsche Prior ein konjugierter Prior für unser vorstehendes Modell.

Das ist wirklich alles - wenn der hintere Teil aus derselben Familie wie der vorherige stammt, ist es ein konjugierter Prior.

In einfachen Fällen können Sie ein Konjugat vor der Prüfung der Wahrscheinlichkeit identifizieren. Betrachten Sie beispielsweise eine Binomialwahrscheinlichkeit. Wenn man die Konstanten weglässt, sieht es aus wie eine Beta-Dichte in $p$ ; und aufgrund der Art und Weise, wie sich Potenzen von $p$ und $(1-p)$ verbinden, multipliziert es sich mit einem Beta, bevor sich auch ein Produkt der Potenzen von $p$ und $(1-p)$ ergibt Die Beta ist ein Konjugat vor $p$ in der Binomialwahrscheinlichkeit.

Im Gaußschen Fall ist es am einfachsten zu erkennen, dass dies geschieht, wenn man die Log-Dichten und die Log-Wahrscheinlichkeit berücksichtigt. Die log-Wahrscheinlichkeit wird quadratisch in und die Summe von zwei Quadratischen ist quadratisch, so dass eine quadratische log-prior + quadratische log-Wahrscheinlichkeit einen quadratischen posterior ergibt (jeder der Koeffizienten des Terms höchster Ordnung wird natürlich negativ sein).$\mu$

Wenn Ihr Modell zu einer Exponentialfamilie gehört, dh wenn die Dichte der Verteilung die Form

$$f(x|\theta)=h(x)\exp\{T(\theta)\cdot S(x)-\psi(\theta)\}\qquad x\in\mathcal{X}\quad\theta\in\Theta$$ in Bezug auf einegegebene dominierende Maßnahme(Lebesgue-, Zählen, & tc.), wobei$t\cdot s$ bezeichnen ein Skalarprodukt über$\mathbb{R}^d$ und $$T:\mathcal{X}\longrightarrow \mathbb{R}^d\qquad S:\Theta\longrightarrow \mathbb{R}^d$$ sind meßbaren Funktionen, die konjugierten priors auf$\theta$ durch Dichten der Form definiert $$\pi(\theta|\xi,\lambda)=C(\xi,\lambda)\exp\{T(\theta)\cdot \xi-\lambda\psi(\theta)\}$$ [in Bezug auf einwillkürlich gewähltes dominierendes Maß $\text{d}\nu$ auf$\Theta$ ] mit $$C(\xi,\lambda)^{-1}=\int_\Theta \exp\{T(\theta)\cdot \xi-\lambda\psi(\theta)\} \text{d}\nu<\infty$$ und$\lambda\in\Lambda\subset\mathbb{R}_+$ ,$\xi\in\Xi\subset \lambda T(\mathcal{X})$

Die Wahl des dominierenden Maßes ist für die Familie der Prioren entscheidend. Wenn zum Beispiel eine normale mittlere Wahrscheinlichkeit für $\mu$ wie in Glen_bs Antwort vorliegt , führt die Auswahl des Lebesgue-Maßes $\text{d}\mu$ als dominierendes Maß dazu, dass normale Prioritäten konjugiert sind. Wählt man stattdessen $(1+\mu^2)^{-2}\text{d}\mu$ als dominierendes Maß, so liegen die konjugierten Priors in der Familie der Verteilungen mit Dichten

$$\exp\{-\alpha(\mu-\mu_0)^2\} \qquad\alpha>0,\ \ \mu_0\in\mathbb R$$ in Bezug auf dieses dominierende Maß und sind somit keine normalen Prioritäten mehr. Diese Schwierigkeit entspricht im Wesentlichen der Auswahl einer bestimmten Parametrisierung der Wahrscheinlichkeit und der Auswahl des Lebesgue-Maßes für diese Parametrisierung. Bei einer Wahrscheinlichkeitsfunktion gibt es kein inhärentes (oder intrinsisches oder referenzielles) dominierendes Maß im Parameterraum.

Außerhalb dieser exponentiellen Familienumgebung gibt es keine nicht triviale Verteilungsfamilie mit einer festen Unterstützung, die konjugierte Prioritäten zulässt. Dies ist eine Folge des Darmois-Pitman-Koopman-Lemmas .

Ich benutze gerne den Begriff "Kernel" einer Distribution. Hier belassen Sie nur die Teile, die vom Parameter abhängen. Ein paar einfache Beispiele.

$$p(\mu|a,b) = K^{-1} \times \exp(a\mu^2 +b\mu)$$ $K$$K=\int \exp(a\mu^2 +b\mu)d\mu=\sqrt{\frac{\pi}{-a}}\exp(-\frac{b^2}{4a})$ The connection with standard mean/variance parameters is $E(\mu|a,b)=-\frac{b}{2a}$ and $Var(\mu|a,b)=-\frac{1}{2a}$

Beta kernel

$$p(\theta|a,b)=K^{-1}\times \theta^a (1-\theta)^b$$ Where $K=\int \theta^a (1-\theta)^b d\theta = Beta(a+1,b+1)$

When we look at the likelihood function, we can do the same thing, and express it in "kernel form". For example with iid data

$$p(D|\mu)=\prod_{i=1}^n p(x_i|\mu)=Q\times f(\mu)$$

For some constant $Q$ and some function $f(\mu)$. If we can recognise this function as a kernel, then we can create a conjugate prior for that likelihood. If we take the normal likelihood with unit variance, the above looks like

$$p(D|\mu) =\prod_{i=1}^n p(x_i|\mu) =\prod_{i=1}^n \frac{1}{\sqrt{2\pi}}\exp(-\frac{(x_i-\mu)^2}{2}) =\left[\prod_{i=1}^n \frac{1}{\sqrt{2\pi}}\right]\times \prod_{i=1}^n \exp(-\frac{(x_i-\mu)^2}{2}) =(2\pi)^{-\frac{n}{2}}\times\exp(-\sum_{i=1}^n\frac{(x_i-\mu)^2}{2}) =(2\pi)^{-\frac{n}{2}}\times\exp(-\sum_{i=1}^n\frac{x_i^2-2x_i\mu+\mu^2}{2}) =(2\pi)^{-\frac{n}{2}}\times\exp(-\sum_{i=1}^n\frac{x_i^2}{2})\times\exp(\mu\sum_{i=1}^n x_i-\mu^2\frac{n}{2}) =Q\times \exp(a\mu^2 +b\mu)$$

where $a=-\frac{n}{2}$ and $b=\sum_{i=1}^n x_i$ and $Q=(2\pi)^{-\frac{n}{2}}\times\exp(-\sum_{i=1}^n\frac{x_i^2}{2})$

This likelihood function has the same kernel as the normal distribution for $\mu$, so a conjugate prior for this likelihood is also the normal distribution.

$$p(\mu|a_0,b_0)=K_0^{-1}\exp(a_0\mu^2 +b_0\mu)$$ The posterior is then $$p(\mu|D,a_0,b_0)\propto K_0^{-1}\exp(a_0\mu^2 +b_0\mu)\times Q\times \exp(a\mu^2 +b\mu)=K_0^{-1}\times Q\times \exp([a+a_0]\mu^2 +[b+b_0]\mu)\propto\exp([a+a_0]\mu^2 +[b+b_0]\mu)$$ Showing that the posterior is also a normal distribution, with updated parameters from the prior using the information in the data.

In some sense a conjugate prior acts similarly to adding "pseudo data" to the data observed, and then estimating the parameters.

For a given distribution family $D_{lik}$ of the likelihood (e.g. Bernoulli),

if the prior is of the same distribution family $D_{pri}$ as the posterior (e.g. Beta),

then $D_{pri}$ and $D_{lik}$ are conjugate distribution families and the prior is called a conjugate prior for the likelihood function.

Note: $\underbrace{p(\theta|x)}_{\text{posterior}} \sim \underbrace{p(x|\theta)}_{\text{likelihood}} \cdot \underbrace{p(\theta)}_{\text{prior}}$