Unterschiede zwischen Bhattacharyya Abstand und KL Abweichung

33

Ich suche eine intuitive Erklärung für die folgenden Fragen:

Was ist in der Statistik und der Informationstheorie der Unterschied zwischen der Bhattacharyya-Distanz und der KL-Divergenz als Maß für den Unterschied zwischen zwei diskreten Wahrscheinlichkeitsverteilungen?

Haben sie überhaupt keine Beziehungen und messen sie den Abstand zwischen zwei Wahrscheinlichkeitsverteilungen auf völlig unterschiedliche Weise?

— JewelSue
quelle

36

Der Bhattacharyya Koeffizient ist definiert als und kann in einen Abstand gedreht werden als was als Hellinger-Distanz bezeichnet wird . Ein Zusammenhang zwischen dieser Hellinger-Distanz und der Kullback-Leibler-Divergenz ist

D_{B} (p, q) = \int \sqrt{p (x) q (x)} d x

$D_B(p,q) = \int \sqrt{p(x)q(x)}\,\text{d}x$

d_{H} (p, q)

$d_H(p,q)$

d_{H} (p, q) = {1 - D_{B} (p, q)}^{1 / 2}

$d_H(p,q)=\{1-D_B(p,q)\}^{1/2}$

d_{K L} (p ‖ q) \geq 2 d_{H}^{2} (p, q) = 2 {1 - D_{B} (p, q)} .

$d_{KL}(p\|q) \geq 2 d_H^2(p,q) = 2 \{1-D_B(p,q)\}\,.$

Dies ist jedoch nicht die Frage: Wenn die Bhattacharyya-Distanz definiert ist als

d_{B} (p, q) \overset{def}{=} - \log D_{B} (p, q),

$d_B(p,q)\stackrel{\text{def}}{=}-\log D_B(p,q)\,,$ dann

\begin{aligned} d_{B} (p, q) = - \log D_{B} (p, q) & = - \log \int \sqrt{p (x) q (x)} d x \\ \overset{def}{=} - \log \int h (x) d x \\ = - \log \int \frac{h (x)}{p (x)} p (x) d x \\ \leq \int - \log {\frac{h (x)}{p (x)}} p (x) d x \\ = \int \frac{- 1}{2} \log {\frac{h^{2} (x)}{p^{2} (x)}} p (x) d x \\ = \int \frac{- 1}{2} \log {\frac{q (x)}{p (x)}} p (x) d x = \frac{1}{2} d_{K L} (p ‖ q) \end{aligned}

$\begin{align*}d_B(p,q)=-\log D_B(p,q)&=-\log \int \sqrt{p(x)q(x)}\,\text{d}x\\ &\stackrel{\text{def}}{=}-\log \int h(x)\,\text{d}x\\ &= -\log \int \frac{h(x)}{p(x)}\,p(x)\,\text{d}x\\ &\le \int -\log \left\{\frac{h(x)}{p(x)}\right\}\,p(x)\,\text{d}x\\ &= \int \frac{-1}{2}\log \left\{\frac{h^2(x)}{p^2(x)}\right\}\,p(x)\,\text{d}x\\ &= \int \frac{-1}{2}\log \left\{\frac{q(x)}{p(x)}\right\}\,p(x)\,\text{d}x= \frac{1}{2}d_{KL}(p\|q) \end{align*}$ Daher die Ungleichung zwischen die zwei Abstände sind

d_{K L} (p ‖ q) \geq 2 d_{B} (p, q) .

${d_{KL}(p\|q)\ge 2d_B(p,q)\,.}$ Man könnte sich dann fragen, ob sich diese Ungleichung aus der ersten ergibt. Das Gegenteil ist der

: da

- l o g (x) \geq 1 - x 0 \leq x \leq 1,

$-log(x)\ge 1-x\qquad\qquad 0\le x\le 1\,,$ Bildbeschreibung hier eingeben

wir haben die komplette Bestellung

d_{K L} (p ‖ q) \geq 2 d_{B} (p, q) \geq 2 d_{H} (p, q)^{2} .

${d_{KL}(p\|q)\ge 2d_B(p,q)\ge 2d_H(p,q)^2\,.}$

— Xi'an
quelle

2

Brillant! Diese Erklärung sollte die sein, nach der ich eifrig suche. Nur eine letzte Frage: In welchem Fall (oder in welchen Arten von P und Q) wird die Ungleichheit zur Gleichheit?

— JewelSue

1

Angesichts der Tatsache, dass die -Funktion streng konvex ist, würde ich annehmen, dass der einzige Fall für Gleichheit darin besteht, dass das Verhältnis in konstant ist .

- \log (\cdot)

$-\log(\cdot)$

p (x) / q (x)

$p(x)/q(x)$

x

$x$

— Xi'an

5

Und der einzige Fall, in dem in konstant ist, ist, wenn .

p (x) / q (x)

$p(x)/q(x)$

x

$x$

p = q

$p=q$

— Xi'an,

8

Ich kenne keine explizite Beziehung zwischen den beiden, habe mich aber entschlossen, schnell nach ihnen zu stöbern, um zu sehen, was ich finden könnte. Das ist also keine wirkliche Antwort, sondern eher ein interessanter Punkt.

Arbeiten wir der Einfachheit halber über diskrete Verteilungen. Wir können die BC-Distanz als schreiben

d_{BC} (p, q) = - \ln \sum_{x} (p (x) q (x))^{\frac{1}{2}}

$d_\text{BC}(p,q) = - \ln \sum_x (p(x)q(x))^\frac{1}{2}$

und die KL Divergenz als

d_{KL} (p, q) = \sum_{x} p (x) \ln \frac{p (x)}{q (x)}

$d_\text{KL}(p,q) = \sum_x p(x)\ln \frac{p(x)}{q(x)}$

Jetzt können wir das Protokoll nicht innerhalb der Summe auf der -Distanz verschieben. Versuchen wir also, das Protokoll außerhalb der -Divergenz zu verschieben: $\text{BC}$ $\text{KL}$

d_{KL} (p, q) = - \ln \prod_{x} {(\frac{q (x)}{p (x)})}^{p (x)}

$d_\text{KL}(p,q) = -\ln \prod_x \left( \frac{q(x)}{p(x)} \right)^{p(x)}$

Betrachten wir ihr Verhalten, wenn als gleichmäßige Verteilung über Möglichkeiten festgelegt ist: $p$ $n$

d_{KL} (p, q) = - \ln n - \ln {(\prod_{x} q (x))}^{\frac{1}{n}} d_{BC} (p, q) = - \ln \frac{1}{\sqrt{n}} - \ln \sum_{x} \sqrt{q (x)}

$d_\text{KL}(p,q) = -\ln n - \ln \left(\prod_x q(x)\right)^\frac{1}{n} \qquad d_\text{BC}(p,q) = - \ln \frac{1}{\sqrt{n}} - \ln\sum_x \sqrt{q(x)}$

Links haben wir das Protokoll von etwas, das in der Form dem geometrischen Mittelwert ähnlich ist . Rechts haben wir etwas Ähnliches wie das Protokoll des arithmetischen Mittels . Wie ich bereits sagte, ist dies keine gute Antwort, aber ich denke, es gibt eine gute Vorstellung davon, wie der BC-Abstand und die KL-Divergenz auf Abweichungen zwischen und reagieren . $p$ $q$

— Andy Jones
quelle