Wie berechnet man die Kullback-Leibler-Divergenz / Entfernung?

Ich habe drei Datensätze X, Y und Z. Jeder Datensatz definiert die Häufigkeit eines Ereignisses. Zum Beispiel:

Datensatz X: E1: 4, E2: 0, E3: 10, E4: 5, E5: 0, E6: 0 usw.
Datensatz Y: E1: 2, E2: 3, E3: 7, E4: 6, E5: 0, E6: 0 und so weiter.
Datensatz Z: E1: 0, E2: 4, E3: 8, E4: 4, E5: 1, E6: 0 und so weiter.

Ich muss KL-Divergenz zwischen X und Y finden; und zwischen X und Z. Wie Sie für einige Ereignisse sehen können, gibt es Werte von 0 und ungleich Null. Für einige Ereignisse sind alle drei Datensätze 0.

Ich würde mich freuen, wenn mir jemand helfen kann, die KL-Divergenz dafür zu finden. Ich bin kein großer Statistiker, daher habe ich keine Ahnung. Die Tutorials, die ich online angesehen habe, waren für mein Verständnis etwas zu komplex.

Um Ihre Frage zu beantworten, sollten wir uns an die Definition der KL-Divergenz erinnern :

Zunächst müssen Sie von dem, was Sie haben, zu Wahrscheinlichkeitsverteilungen übergehen. Dazu sollten Sie Ihre Daten so normalisieren, dass sie sich zu eins summieren:

$X_i := \frac{X_i}{\sum_{i=1}^N X_i}$ ; ; $Y_i := \frac{Y_i}{\sum_{i=1}^N Y_i}$$Z_i := \frac{Z_i}{\sum_{i=1}^N Z_i}$

Dann haben wir für diskrete Werte eine sehr wichtige Annahme, die zur Bewertung der KL-Divergenz erforderlich ist und die häufig verletzt wird:

$X_i = 0$ sollte bedeuten .$Y_i = 0$

Wenn sowohl als auch gleich Null sind, wird angenommen, dass Null ist (als Grenzwert).$X_i$$Y_i$$\ln \left( Y_i / X_i \right) Y_i$

In Ihrem Datensatz bedeutet dies, dass Sie , aber nicht zum Beispiel (wegen des zweiten Eintrags).$D_{KL}(X||Y)$$D_{KL}(Y||X)$

Was ich aus praktischer Sicht raten könnte, ist:

Entweder machen Sie Ihre Ereignisse "größer", so dass Sie weniger Nullen haben

oder Sie erhalten mehr Daten, sodass Sie auch seltene Ereignisse mit mindestens einem Eintrag abdecken.

Wenn Sie keinen der oben genannten Hinweise verwenden können, müssen Sie wahrscheinlich eine andere Metrik zwischen den Verteilungen finden. Zum Beispiel,

Gegenseitige Information , definiert als . Wobei eine gemeinsame Wahrscheinlichkeit zweier Ereignisse ist.$I(X, Y) = \sum_{i=1}^N \sum_{j=1}^N p(X_i, Y_j) \ln \left( \frac{p(X_i, Y_j)}{p(X_i) p(Y_j)} \right)$$p(X_i, Y_i)$

Hoffe es wird helfen.

Möglicherweise möchten Sie \ epsilon auf einen sehr kleinen Wert von 0,00001 (z. B.) setzen und für alle Wahrscheinlichkeiten Werte ungleich Null festlegen und KL-Werte berechnen.

Bitte lassen Sie mich wissen, ob dies funktioniert.