Kullback-Leibler-Divergenz zwischen zwei Gamma-Verteilungen

15

Auswahl der Parametrisierung der Gammaverteilung durch das PDF Die Kullback-Leibler-Divergenz zwischen und ist gegeben durch [1] als $\Gamma(b,c)$ $g(x;b,c) = \frac{1}{\Gamma(c)}\frac{x^{c-1}}{b^c}e^{-x/b}$ $\Gamma(b_q,c_q)$ $\Gamma(b_p,c_p)$

\begin{aligned} K L_{G a} (b_{q}, c_{q}; b_{p}, c_{p}) & = (c_{q} - 1) Ψ (c_{q}) - \log b_{q} - c_{q} - \log Γ (c_{q}) + \log Γ (c_{p}) \\ + c_{p} \log b_{p} - (c_{p} - 1) (Ψ (c_{q}) + \log b_{q}) + \frac{b_{q} c_{q}}{b_{p}} \end{aligned}

$\begin{align} KL_{Ga}(b_q,c_q;b_p,c_p) &= (c_q-1)\Psi(c_q) - \log b_q - c_q - \log\Gamma(c_q) + \log\Gamma(c_p)\\ &\qquad+ c_p\log b_p - (c_p-1)(\Psi(c_q) + \log b_q) + \frac{b_qc_q}{b_p} \end{align}$

Ich vermute, dass $\Psi(x):= \Gamma'(x)/\Gamma(x)$ die Digamma-Funktion ist .

Dies ist ohne Ableitung gegeben. Ich kann keinen Hinweis finden, der dies herleitet. Irgendeine Hilfe? Eine gute Referenz wäre ausreichend. Der schwierige Teil ist die Integration von $\log x$ gegen ein Gamma-PDF.

[1] WD Penny, KL-Divergenzen der Normal-, Gamma-, Dirichlet- und Wishart-Dichte , verfügbar unter: www.fil.ion.ucl.ac.uk/~wpenny/publications/densities.ps

kullback-leibler gamma-distribution exponential-family

— Ian Langmore
quelle

2

Wenn Sie die Ableitung des PDF-Dokuments in Bezug auf , wird der gesuchte -Faktor eingeführt : Aus diesem Grund wird digamma angezeigt.

c

$c$

l o g (x)

$log(x)$

— whuber

Wenn Sie Pierre Baldi und Laurent Itti (2010) begegnen, finden Sie in Gleichung 73 eine KL-Divergenz zwischen zwei Gamma-PDFS. Achten Sie jedoch darauf, dass die Formel anscheinend falsch gedruckt ist.

— Mr Clarinet

Ich bin auf der Suche nach einer Lösung für das gleiche Problem und finden diese ein nützlich ist.

— Yi Yang

15

Die KL-Divergenz ist eine Differenz von Integralen der Form

$$ \ eqalign {I (a, b, c, d) & = \ int_0 ^ {\ infty} \ log \ left (\ frac {e ^ {- x / a} x ^ {b-1}} {a ^ b \ Gamma (b)} \ rechts) \ frac {e ^ {- x / c} x ^ {d-1}} {c ^ d \ Gamma (d)} dx \

& = - \ frac {1} {a} \ int_0 ^ \ infty \ frac {x ^ de ^ {- x / c}} {c ^ d \ Gamma (d)} \, dx - \ log (a ^ b \ Gamma (b)) \ int_0 ^ \ infty \ frac {e ^ {- x / c} x ^ {d-1}} {c ^ d \ Gamma (d)} \, dx \ & \ quad + (b- 1) \ int_0 ^ \ infty \ log (x) \ frac {e ^ {- x / c} x ^ {d-1}} {c ^ d \ Gamma (d)} \, dx \

& = - \ frac {cd} {a} - \ log (a ^ b \ Gamma (b)) + (b-1) \ int_0 ^ \ infty \ log (x) \ frac {e ^ {- x / c } x ^ {d-1}} {c ^ d \ Gamma (d)} \, dx} $$

Wir müssen uns nur mit dem Integral der rechten Hand befassen, das durch Beobachtung erhalten wird

\begin{aligned} \frac{\partial}{\partial d} Γ (d) = & \frac{\partial}{\partial d} \int_{0}^{\infty} e^{- x / c} \frac{x^{d - 1}}{c^{d}} d x \\ = & \frac{\partial}{\partial d} \int_{0}^{\infty} e^{- x / c} \frac{(x / c)^{d - 1}}{c} d x \\ = & \int_{0}^{\infty} e^{- x / c} \frac{x^{d - 1}}{c^{d}} \log \frac{x}{c} d x \\ = & \int_{0}^{\infty} \log (x) e^{- x / c} \frac{x^{d - 1}}{c^{d}} d x - \log (c) Γ (d) . \end{aligned}

$\eqalign{ \frac{\partial}{\partial d}\Gamma(d) =& \frac{\partial}{\partial d}\int_0^{\infty}e^{-x/c}\frac{x^{d-1}}{c^d}dx\\ =& \frac{\partial}{\partial d} \int_0^\infty e^{-x/c} \frac{(x/c)^{d-1}}{c}\,dx\\ =&\int_0^\infty e^{-x/c}\frac{x^{d-1}}{c^d} \log\frac{x}{c} \,dx\\ =&\int_0^{\infty}\log(x)e^{-x/c}\frac{x^{d-1}}{c^d}dx - \log(c)\Gamma(d). }$

Woher

\frac{b - 1}{Γ (d)} \int_{0}^{\infty} \log (x) e^{- x / c} (x / c)^{d - 1} d x = (b - 1) \frac{Γ^{'} (d)}{Γ (d)} + (b - 1) \log (c) .

$\frac{b-1}{\Gamma(d)}\int_0^{\infty} \log(x)e^{-x/c}(x/c)^{d-1}dx = (b-1)\frac{\Gamma'(d)}{\Gamma(d)} + (b-1)\log(c).$

Einstecken in die vorhergehenden Ausbeuten

I (a, b, c, d) = \frac{- c d}{a} - \log (a^{b} Γ (b)) + (b - 1) \frac{Γ^{'} (d)}{Γ (d)} + (b - 1) \log (c) .

$I(a,b,c,d)=\frac{-cd}{a} -\log(a^b\Gamma(b))+(b-1)\frac{\Gamma'(d)}{\Gamma(d)} + (b-1)\log(c).$

Die KL-Divergenz zwischen und gleich , was einfach zusammenzubauen ist. $\Gamma(c,d)$ $\Gamma(a,b)$ $I(c,d,c,d) - I(a,b,c,d)$

Implementierungsdetails

Gamma-Funktionen wachsen schnell, daher sollten Sie Gamma nicht berechnen und seinen Logarithmus verwenden, um einen Überlauf zu vermeiden. Verwenden Sie stattdessen die log-Gamma-Funktion, die in jeder statistischen Computerplattform (einschließlich Excel) zu finden ist.

Das Verhältnis ist die logarithmische Ableitung von allgemein als die digamma Funktion. Wenn es Ihnen nicht zur Verfügung steht, gibt es relativ einfache Möglichkeiten, es zu approximieren, wie im Wikipedia-Artikel beschrieben . $\Gamma^\prime(d)/\Gamma(d)$ $\Gamma,$ $\psi,$

Hier zu erläutern, ist eine direkte RUmsetzung der Formel in Bezug auf die . Dies nutzt nicht die Gelegenheit, das Ergebnis algebraisch zu vereinfachen, was es ein wenig effizienter machen würde (durch Eliminieren einer redundanten Berechnung von ). $I$ $\psi$

#
# `b` and `d` are Gamma shape parameters and
# `a` and `c` are scale parameters.
# (All, therefore, must be positive.)
#
KL.gamma <- function(a,b,c,d) {
  i <- function(a,b,c,d)
    - c * d / a - b * log(a) - lgamma(b) + (b-1)*(psigamma(d) + log(c))
  i(c,d,c,d) - i(a,b,c,d)
}
print(KL.gamma(1/114186.3, 202, 1/119237.3, 195), digits=12)

— whuber
quelle

2

Gute Antwort. Vielen Dank! Ich glaube jedoch, dass es in der vierten Gleichheit einen Vorzeichenfehler gibt. Außerdem sollte Ihr Gamma-PDF einen zusätzlichen Faktor von "c" im Nenner haben. Möchten Sie, dass ich es bearbeite?

— Ian Langmore

@ Ian Du hast recht; Normalerweise schreibe ich das Maß als

und indem ich es nicht tue, lasse ich diesen zusätzlichen Faktor von

weg . Guter Fang auf dem Zeichenfehler. Wenn Sie die Änderungen vornehmen möchten, fühlen Sie sich frei!

d x / x

$dx/x$

c

$c$

— whuber

2

Ich habe die Korrekturen vorgenommen.

— Ian Langmore

10

Die Gamma-Verteilung liegt in der Exponentialfamilie, weil ihre Dichte ausgedrückt werden kann als:

\begin{aligned} f (x ∣ θ) & = \exp (η (θ) \cdot T (x) - g (θ) + h (x)) \end{aligned}

$\begin{align} \newcommand{\mbx}{\mathbf{x}} \newcommand{\btheta}{\boldsymbol{\theta}} f(\mbx \mid \btheta) &= \exp\bigl(\eta(\btheta) \cdot T(\mbx) - g(\btheta) + h(\mbx)\bigr) \end{align}$

Mit Blick auf die Gamma - Dichtefunktion, ihre log-Normalisierer ist mit natürlichen Parameter

g (θ) = \log (Γ (c)) + c \log (b)

$g(\btheta) = \log(\Gamma(c)) + c\log(b)$

θ = [\begin{matrix} c - 1 \\ - \frac{1}{b} \end{matrix}]

$\btheta = \left[\begin{matrix}c-1\\-\frac1 b\end{matrix}\right]$

Alle Verteilungen in der Exponentialfamilie haben KL-Divergenz:

\begin{aligned} K L (q; p) & = g (θ_{p}) - g (θ_{q}) - (θ_{p} - θ_{q}) \cdot \nabla g (θ_{q}) . \end{aligned}

$\begin{align} KL(q; p) &= g(\btheta_p) - g(\btheta_q) - (\btheta_p-\btheta_q) \cdot \nabla g(\btheta_q). \end{align}$

Es gibt einen wirklich schönen Beweis dafür in:

Frank Nielsen, École Polytechnique, und Richard Nock, Entropien und Kreuzentropien exponentieller Familien.

— Neil G
quelle

Wusste das nicht. Nur eine kurze Frage - die

g (.)

$g(.)$ Funktion, muss es das gleiche sein für

θ_{p}

$\theta_p$ wie für

θ_{q}

$\theta_q$ ? Wäre die obige Formel beispielsweise für die KL-Abweichung von normalem PDF von Gamma-PDF gültig?

— Wahrscheinlichkeitsrechnung

1

Ja, diese Formel gilt für zwei Verteilungen in derselben Exponentialfamilie.

— Neil G