Dirichlet-konjugierte Update-Ableitung

7

Ich versuche, die Aktualisierungsgleichungen für das Konjugat an die Dirichlet-Verteilung abzuleiten, wie hier beschrieben: /mathpro/20399/conjugate-prior-of-the-dirichlet-distribution

Die von mir berechnete Parameteraktualisierungsgleichung stimmt jedoch nicht mit der dort vorgeschlagenen überein.

Meine Ableitung ist unten dargestellt: where,

\begin{aligned} f (θ | α) & = D i r (θ | α) \\ = \frac{1}{B (α)} \exp (ϕ (α)^{T} u (θ)) \end{aligned}

$\begin{align} f({\theta}|{\alpha}) &= Dir({\theta}|{\alpha})\\ &=\frac{1}{B({\alpha})}\exp(\phi({\alpha})^{T}u({\theta})) \end{align}$

\begin{aligned} ϕ (α)^{T} & = [α_{1} - 1, \dots, α_{K} - 1] \\ u (θ) & = [\ln (θ_{1}), \dots, \ln (θ_{K})]^{T} \\ B (α) & = \frac{\prod_{i = 1}^{K} Γ (α_{i})}{Γ (\sum_{i = 1}^{K} α_{i})} \end{aligned}

$\begin{align} \phi({\alpha})^{T} &= [\alpha_1-1,\cdots,\alpha_K-1]\\ u({\theta}) &= [\ln(\theta_1),\cdots,\ln(\theta_K)]^{T}\\ B({\alpha}) &= \frac{\prod_{i=1}^{K}\Gamma(\alpha_i)}{\Gamma\left(\sum_{i=1}^{K}\alpha_i\right)} \end{align}$

Also

\begin{aligned} f (θ | α) & = \frac{1}{B (α)} \exp (\sum_{i = 1}^{K} α_{i} \ln (θ_{i}) - \ln (θ_{i})) \end{aligned}

$\begin{align} f({\theta}|{\alpha}) &= \frac{1}{B({\alpha})}\exp\left(\sum_{i=1}^{K}\alpha_{i}\ln(\theta_i)-\ln(\theta_i)\right) \end{align}$

Das konjugierte Familienkonjugat hat die Form

\begin{aligned} p (α | ν, η) & \propto \frac{1}{B (α)^{η}} \exp (ϕ (α)^{T} ν) \\ = \frac{1}{B (α)^{η}} \exp (\sum_{i = 1}^{K} α_{i} ν_{i} - \sum_{i = 1}^{K} ν_{i}) \\ \propto \frac{1}{B (α)^{η}} \exp (\sum_{i = 1}^{K} α_{i} ν_{i}) \end{aligned}

$\begin{align} p({\alpha}|{\nu},\eta) &\propto \frac{1}{B({\alpha})^{\eta}}\exp(\phi({\alpha})^{T}{\nu})\\ &= \frac{1}{B({\alpha})^{\eta}}\exp\left(\sum_{i=1}^{K}\alpha_{i}\nu_{i}-\sum_{i=1}^{K}\nu_i\right)\\ &\propto \frac{1}{B({\alpha})^{\eta}}\exp\left(\sum_{i=1}^{K}\alpha_{i}\nu_{i}\right) \end{align}$

Nun ist das hintere Update auf gegeben , ${\alpha}$ ${\theta}$

\begin{aligned} p (α | θ, ν, η) & \propto p (α, θ | ν, η) \\ = f (θ | α) p (α | ν, η) \\ \propto [\frac{1}{B (α)} \exp (\sum_{i = 1}^{K} α_{i} \ln (θ_{i}) - \ln (θ_{i}))] \times \\ [\frac{1}{B (α)^{η}} \exp (\sum_{i = 1}^{K} α_{i} ν_{i})] \\ = \frac{1}{B (α)^{η + 1}} \exp (\sum_{i = 1}^{K} α_{i} \ln (θ_{i}) + α_{i} ν_{i} - \ln (θ_{i})) \end{aligned}

$\begin{align} p({\alpha}|{\theta},{\nu},\eta) &\propto p({\alpha},{\theta}|{\nu},\eta)\\ &= f({\theta}|{\alpha})p({\alpha}|{\nu},\eta)\\ &\propto \left[\frac{1}{B({\alpha})}\exp\left(\sum_{i=1}^{K}\alpha_{i}\ln(\theta_i)-\ln(\theta_i)\right)\right]\times\nonumber\\ &\phantom{{}\propto} \left[\frac{1}{B({\alpha})^{\eta}}\exp\left(\sum_{i=1}^{K}\alpha_{i}\nu_{i}\right) \right]\\ &= \frac{1}{B({\alpha})^{\eta+1}}\exp\left(\sum_{i=1}^{K}\alpha_{i}\ln(\theta_i) + \alpha_{i}\nu_{i}-\ln(\theta_i)\right)\\ \end{align}$

Daher erhalte ich das Update . Das Update auf stimmt jedoch nicht überein. Wenn wir das , würden wir das Update , das nicht mit dem vorgeschlagenen übereinstimmt . ${\eta^{t+1}} = {\eta^t} + 1$ $\nu$ $-\ln(\theta_i)$ ${\nu_i^{t+1}} = {\nu_i^t} + \ln(\theta_i)$ ${\nu_i^{t+1}} = {\nu_i^t} - \ln(\theta_i)$

Und ein Follow-up: Gibt es eine intuitive Bedeutung hinter und in diesem Konjugat? scheint das Maß an Vertrauen in den Prior anzuzeigen, und Asymmetrie, aber eine weitere Diskussion darüber wäre wünschenswert. ${\eta}$ $\nu$ ${\eta}$ $\nu$

— sr71
quelle

Ich habe eine Antwort hinzugefügt, aber brauchen Sie das Konjugat wirklich vorher? Sie tun dies nicht, wenn Sie eine Maximum-Likelihood-Schätzung durchführen.

— Neil G

5

An dieser Ableitung ist nichts auszusetzen: aber der Teil spielt keine Rolle, da es sich um eine multiplikative Konstante (in ) handelt. Deshalb

\begin{aligned} p (α | θ, ν, η) & \propto p (α, θ | ν, η) \\ = f (θ | α) p (α | ν, η) \\ \propto [\frac{1}{B (α)} \exp (\sum_{i = 1}^{K} α_{i} \ln (θ_{i}) - \ln (θ_{i}))] \times \\ [\frac{1}{B (α)^{η}} \exp (\sum_{i = 1}^{K} α_{i} ν_{i})] \\ = \frac{1}{B (α)^{η + 1}} \exp (\sum_{i = 1}^{K} α_{i} \ln (θ_{i}) + α_{i} ν_{i} - \ln (θ_{i})) \end{aligned}

$\begin{align} p({\alpha}|{\theta},{\nu},\eta) &\propto p({\alpha},{\theta}|{\nu},\eta)\\ &= f({\theta}|{\alpha})p({\alpha}|{\nu},\eta)\\ &\propto \left[\frac{1}{B({\alpha})}\exp\left(\sum_{i=1}^{K}\alpha_{i}\ln(\theta_i)-\ln(\theta_i)\right)\right]\times\nonumber\\ &\phantom{{}\propto} \left[\frac{1}{B({\alpha})^{\eta}}\exp\left(\sum_{i=1}^{K}\alpha_{i}\nu_{i}\right) \right]\\ &= \frac{1}{B({\alpha})^{\eta+1}}\exp\left(\sum_{i=1}^{K}\alpha_{i}\ln(\theta_i) + \alpha_{i}\nu_{i}-\ln(\theta_i)\right)\\ \end{align}$

\exp (- \sum_{i = 1}^{K} \ln (θ_{i}))

$\exp\left(-\sum_{i=1}^{K}\ln(\theta_i)\right)$

α

$\alpha$

\begin{aligned} p (α | θ, ν, η) & \propto \frac{1}{B (α)^{η + 1}} \exp (\sum_{i = 1}^{K} α_{i} {\ln (θ_{i}) + ν_{i}}) \end{aligned}

$\begin{align} p({\alpha}|{\theta},{\nu},\eta) &\propto \frac{1}{B({\alpha})^{\eta+1}}\exp\left(\sum_{i=1}^{K}\alpha_{i}\{\ln(\theta_i) +\nu_{i}\}\right) \end{align}$ Abschließend ist das korrektes Update. Der zitierte Beitrag hat offensichtlich einen Tippfehler.

η^{post} = η^{prior} + 1 ν_{i}^{post} = ν_{i}^{prior} + \ln (θ_{i})

$\eta^\text{post}=\eta^\text{prior}+1 \qquad \nu_{i}^\text{post}=\nu_{i}^\text{prior}+\ln(\theta_i)$

Für die Folgefrage glaube ich nicht, dass die Verteilung eine intuitive Interpretation hat.

— Xi'an
quelle

Vielen Dank. Das macht Sinn. Der Beitrag, auf den ich verwiesen habe, zeigt das hintere Update jedoch als , nicht . Werden die Elemente von aus irgendeinem Grund als negativ angenommen?

ν_{i}^{post} = ν_{i}^{prior} - \ln (θ_{i})

$\nu_{i}^\text{post}=\nu_{i}^\text{prior}-\ln(\theta_i)$

ν_{i}^{post} = ν_{i}^{prior} + \ln (θ_{i})

$\nu_{i}^\text{post}=\nu_{i}^\text{prior}+\ln(\theta_i)$

ν

$\nu$

— sr71

Der ursprüngliche Beitrag hat einen Fehler im Schild gemacht, das ist alles ...

— Xi'an

4

Erstens sind exponentielle Familienaktualisierungen alles andere als die natürliche Parametrisierung verwirrend, bei der die Aktualisierungsregel nur eine Ergänzung ist. Halten Sie sich an diese Parametrisierung.

Ich würde das Konjugat vorher auf diese Weise ableiten . Die Grundidee ist die natürlichen Parameterwert Ihres Konjugat vor Verteilung sind (Summen ausreichend Statistiken Ihrer ursprünglichen Verteilung ). Jede Beobachtung addiert sich zu diesem Vektor. $F'$ $\eta'$ $F$

Die ausreichenden Statistiken für das Dirichlet sind . Daher besteht Ihre Aktualisierungsregel für das konjugierte Prior darin, diese zusammen mit einem zusätzlichen Parameter zusammenzufassen, der festhält, wie viele Beobachtungen Sie summiert haben. $\log x_i$

Intuitiv ist dieser Zählparameter immer ein Konzentrationsparameter; Die anderen Parameter reagieren am empfindlichsten auf kleine Werte von . Es macht Sinn , dass , wenn Ihr Dirichlet Probe einen kleinen Wert von , dann wahrscheinlich nicht über einen großen im Vergleich zu dem anderen . Das Gegenteil ist vielleicht weniger wahr? $x_i$ $x_i$ $\alpha_i$ $\alpha_i$

— Neil G.
quelle

1

Ich bin mir nicht sicher, ob es einen intuitiven Sinn ergibt , aber kann in einem physikalischen Kontext interpretiert werden, wie weit die Dirichlet-Verteilung im mikrokanonischen Sinne vom Gleichgewicht entfernt ist. Siehe http://arxiv.org/pdf/cond-mat/0603120v1.pdf . Dies ist wahrscheinlich nicht die Art von Interpretation, die die meisten als befriedigend empfinden würden, aber es ist eine interessante Sichtweise! $\eta$

— Jack O'Brien
quelle