Kullback-Leibler gegen Kolmogorov-Smirnov Abstand

37

Ich kann feststellen, dass es viele formale Unterschiede zwischen den Abstandsmaßen Kullback-Leibler und Kolmogorov-Smirnov gibt. Beide werden jedoch verwendet, um den Abstand zwischen Verteilungen zu messen.

Gibt es eine typische Situation, in der einer anstelle des anderen verwendet werden sollte?
Was ist der Grund dafür?

— Greg
quelle

Eine verwandte Frage: stats.stackexchange.com/questions/4/…

— GaBorgulya

23

Die KL-Divergenz wird typischerweise in informationstheoretischen Einstellungen oder sogar in Bayes-Einstellungen verwendet, um die Informationsänderung zwischen Verteilungen vor und nach dem Anwenden von Inferenz zu messen. Es ist keine Distanz im typischen (metrischen) Sinne, da Symmetrie und Dreiecksungleichheit fehlen, und wird daher an Orten verwendet, an denen die Richtwirkung von Bedeutung ist.

$\ell_1$

— Suresh Venkatasubramanian
quelle

5

X_{1}, X_{2}, \dots

$X_1, X_2, \ldots$

p_{0}

$p_0$

p_{1}

$p_1$

T_{n} = n^{- 1} \sum_{i = 1}^{n} \log (p_{1} (X_{i}) / p_{0} (X_{i}))

$T_n = n^{-1} \sum_{i=1}^n \log( p_1(X_i) / p_0(X_i) )$

T_{n}

$T_n$

p_{0}

$p_0$

T_{n} \to - D (p_{0} | | p_{1})

$T_n \to -D(p_0 \,\vert\vert\, p_1)$

p_{1}

$p_1$

T_{n} \to D (p_{1} | | p_{0})

$T_n \to D(p_1 \,\vert\vert\, p_0)$

D (\cdot | | \cdot)

$D(\cdot \,\vert\vert\, \cdot)$

T_{n} > 0

$T_n > 0$

p_{0}

$p_0$

Tatsächlich. Das ist ein hervorragendes Beispiel. Tatsächlich verwenden die meisten allgemeinen Versionen der Chernoff-Hoeffding-Schwanzgrenzen die KL-Divergenz.

— Suresh Venkatasubramanian

2

Eine andere Möglichkeit, das Gleiche wie in der vorherigen Antwort zu sagen:

KL-Divergenz - Liefert tatsächlich ein Maß dafür, wie groß der Unterschied zwischen zwei Verteilungen ist. Wie in der vorherigen Antwort erwähnt, ist dieses Maß keine geeignete Abstandsmetrik, da es nicht symmetrisch ist. Dh der Abstand zwischen Verteilung A und B ist ein anderer Wert als der Abstand zwischen Verteilung B und A.

Kolmogorov-Smirnov-Test - Hierbei handelt es sich um eine Bewertungsmetrik, die den größten Unterschied zwischen der kumulativen Verteilung einer Testverteilung und einer Referenzverteilung untersucht. Darüber hinaus können Sie diese Metrik wie einen Z-Score für die Kolmogorov-Verteilung verwenden, um einen Hypothesentest durchzuführen, um festzustellen, ob die Testverteilung mit der Referenzverteilung identisch ist. Diese Metrik kann als Distanzfunktion verwendet werden, da sie symmetrisch ist. Die größte Trennung zwischen CDF von A und CDF von B ist die gleiche wie die größte Trennung zwischen CDF von B und CDF von A.

— SriK
quelle