Clustering: Soll ich die Jensen-Shannon-Divergenz oder deren Quadrat verwenden?

Ich bündele Wahrscheinlichkeitsverteilungen mit dem Affinitätsausbreitungsalgorithmus und plane, Jensen-Shannon-Divergenz als Distanzmetrik zu verwenden.

Ist es richtig, JSD selbst als Distanz zu verwenden oder JSD im Quadrat? Warum? Welche Unterschiede würden sich aus der Wahl des einen oder anderen ergeben?

— AlcubierreDrive
quelle

Ich denke, es hängt davon ab, wie es verwendet werden soll.

Nur als Referenz für andere Leser, wenn und Wahrscheinlichkeitsmaße sind, dann ist die Jensen-Shannon-Divergenz wobei der Mittelpunkt und der Kullback-Wert ist. Leibler-Divergenz. $P$ $Q$

J (P, Q.) = \frac{1}{2} (D (P ∣∣ R) + D (Q. ∣∣ R))

$J(P,Q) = \frac{1}{2} \big( D(P \mid\mid R) + D(Q\mid\mid R) \big)$

R = \frac{1}{2} (P + Q)

$R = \frac{1}{2} (P + Q)$

D (\cdot ∣∣ \cdot)

$D(\cdot\mid\mid\cdot)$

Jetzt wäre ich versucht, die Quadratwurzel der Jensen-Shannon-Divergenz zu verwenden, da sie eine Metrik ist , dh alle "intuitiven" Eigenschaften eines Entfernungsmaßes erfüllt.

Weitere Einzelheiten hierzu finden Sie unter

Endres und Schindelin, Eine neue Metrik für Wahrscheinlichkeitsverteilungen , IEEE Trans. auf Info. Deine. vol. 49, nein. 3, Jul. 2003, S. 1858-1860.

In gewissem Sinne kommt es natürlich darauf an, wofür Sie es brauchen. Wenn Sie nur ein paarweises Maß verwenden, funktioniert jede monotone Transformation von JSD. Wenn Sie nach etwas suchen, das einem "Quadratabstand" am nächsten kommt, dann ist die JSD selbst die analoge Größe.

Diese vorherige Frage und die damit verbundenen Antworten und Diskussionen könnten Sie übrigens auch interessieren .

— Kardinal
quelle

Cool, ich werde so schnell wie möglich "eine neue Metrik für die Wahrscheinlichkeitsverteilung" lesen. Txh

— ocram

Vielen Dank! Ich wusste nicht, dass JSD selbst bereits analog zu dist ** 2

— AlcubierreDrive

Danke für die tolle Erklärung! Nur eine kurze Frage. Ich weiß, dass J-Divergenz darin symmetrisch ist J(P,Q) = J(Q,P). Ich habe gelesen, dass die JS-Divergenz in P und Q symmetrisch ist. Bedeutet das JS(P,Q) = JS(Q,P)? Ich frage dies, weil ich die KLdivFunktion aus dem flexmixPaket in verwende R. Für meine beiden Distributionen ist die Matrixausgabe von KLdiv nicht symmetrisch. Ich hatte erwartet, dass JS dies korrigiert, aber die Ausgabe von JS (berechnet mit KL) ist nicht symmetrisch.

— Legende

P

$P$

Q

$Q$