Als «kullback-leibler» getaggte Fragen

Ein asymmetrisches Maß für den Abstand (oder die Unähnlichkeit) zwischen Wahrscheinlichkeitsverteilungen. Es könnte als der erwartete Wert des Log-Likelihood-Verhältnisses unter der alternativen Hypothese interpretiert werden.

1
KL-Divergenz zwischen zwei multivariaten Gaußschen
Ich habe Probleme, die KL-Divergenzformel unter der Annahme von zwei multivariaten Normalverteilungen abzuleiten. Ich habe den univariaten Fall ziemlich leicht gemacht. Es ist jedoch eine Weile her, dass ich Mathe-Statistiken erstellt habe, und daher habe ich einige Probleme, diese auf den multivariaten Fall auszudehnen. Ich bin mir sicher, ich vermisse …
1
Warum verwenden wir die Kullback-Leibler-Divergenz anstatt die Entropie in der t-SNE-Zielfunktion zu kreuzen?
In meinen Augen ist die KL-Abweichung von der Probenverteilung zur wahren Verteilung einfach der Unterschied zwischen Kreuzentropie und Entropie. Warum verwenden wir die Kreuzentropie als Kostenfunktion in vielen maschinellen Lernmodellen, verwenden aber die Kullback-Leibler-Divergenz in t-sne? Gibt es einen Unterschied in der Lerngeschwindigkeit?
2
Unterschiede zwischen Bhattacharyya Abstand und KL Abweichung
Ich suche eine intuitive Erklärung für die folgenden Fragen: Was ist in der Statistik und der Informationstheorie der Unterschied zwischen der Bhattacharyya-Distanz und der KL-Divergenz als Maß für den Unterschied zwischen zwei diskreten Wahrscheinlichkeitsverteilungen? Haben sie überhaupt keine Beziehungen und messen sie den Abstand zwischen zwei Wahrscheinlichkeitsverteilungen auf völlig unterschiedliche …
4
Ähnlichkeits- oder Abstandsmaße zwischen zwei Kovarianzmatrizen
Gibt es Ähnlichkeits- oder Abstandsmaße zwischen zwei symmetrischen Kovarianzmatrizen (beide mit den gleichen Abmessungen)? Ich denke hier an Analoga zur KL-Divergenz von zwei Wahrscheinlichkeitsverteilungen oder dem euklidischen Abstand zwischen Vektoren, außer wenn sie auf Matrizen angewendet werden. Ich stelle mir vor, dass es einige Ähnlichkeitsmessungen geben würde. Idealerweise möchte ich …
4
Eine Anpassung der Kullback-Leibler-Distanz?
Schau dir dieses Bild an: Wenn wir eine Stichprobe aus der Rotdichte ziehen, werden einige Werte voraussichtlich unter 0,25 liegen, während es unmöglich ist, eine solche Stichprobe aus der Blauverteilung zu erzeugen. Infolgedessen ist der Kullback-Leibler-Abstand von der roten zur blauen Dichte unendlich. Die beiden Kurven sind jedoch in gewissem …
3
Was sind die Vorteile der Wasserstein-Metrik gegenüber der Kullback-Leibler-Divergenz?
Was ist der praktische Unterschied zwischen der Wasserstein-Metrik und der Kullback-Leibler-Divergenz ? Die Wasserstein-Metrik wird auch als Erdbewegungsdistanz bezeichnet . Aus Wikipedia: Wasserstein-Metrik (oder Vaserstein-Metrik) ist eine Abstandsfunktion, die zwischen Wahrscheinlichkeitsverteilungen auf einem gegebenen Metrikraum M definiert ist. und Die Kullback-Leibler-Divergenz ist ein Maß dafür, wie eine Wahrscheinlichkeitsverteilung von einer …
3
Kullback-Leibler-Divergenz OHNE Informationstheorie
Nach langem Durchforsten von Cross Validated fühle ich mich immer noch nicht näher daran, die KL-Divergenz außerhalb des Bereichs der Informationstheorie zu verstehen. Es ist ziemlich seltsam, wenn jemand mit einem mathematischen Hintergrund die Erklärung der Informationstheorie viel leichter versteht. Um mein Verständnis vor dem Hintergrund der Informationstheorie zu skizzieren: …
2
Welche Beziehung besteht zwischen dem GINI-Score und dem Log-Likelihood-Verhältnis?
Ich studiere Klassifikations- und Regressionsbäume, und eine der Kennzahlen für den geteilten Standort ist der GINI-Score. Jetzt bin ich es gewohnt, den besten Split-Standort zu bestimmen, wenn das Protokoll des Wahrscheinlichkeitsverhältnisses der gleichen Daten zwischen zwei Verteilungen Null ist, was bedeutet, dass die Wahrscheinlichkeit einer Mitgliedschaft gleich wahrscheinlich ist. Meine …
3
Zusammenhang zwischen Fisher-Metrik und der relativen Entropie
Kann jemand beweist die folgende Verbindung zwischen Fisher Informationen Metrik und der relativen Entropie (oder KL Divergenz) in eine rein mathematischen rigorosen Art und Weise? D(p(⋅,a+da)∥p(⋅,a))=12gi,jdaidaj+(O(∥da∥3)D(p(⋅,a+da)∥p(⋅,a))=12gi,jdaidaj+(O(‖da‖3)D( p(\cdot , a+da) \parallel p(\cdot,a) ) =\frac{1}{2} g_{i,j} \, da^i \, da^j + (O( \|da\|^3) wobei , g_ {i, j} = \ int \ …
3
Analyse der Kullback-Leibler-Divergenz
Betrachten wir die folgenden zwei Wahrscheinlichkeitsverteilungen P Q 0.01 0.002 0.02 0.004 0.03 0.006 0.04 0.008 0.05 0.01 0.06 0.012 0.07 0.014 0.08 0.016 0.64 0.928 Ich habe die Kullback-Leibler-Divergenz berechnet, die gleich ist. Ich möchte im Allgemeinen wissen, was diese Zahl mir zeigt. Generell zeigt mir die Kullback-Leibler-Divergenz, wie …
1
Warum ist KL-Divergenz nicht negativ?
Warum ist die KL-Divergenz nicht negativ? Aus informationstheoretischer Sicht verstehe ich das so intuitiv: Angenommen, es gibt zwei Ensembles AAA und BBB die aus der gleichen Menge von Elementen bestehen, die mit xxx . p(x)p(x)p(x) und q(x)q(x)q(x) sind verschiedene Wahrscheinlichkeitsverteilungen über ensemble und jeweils.AAABBB Aus informationstheoretischer Sicht ist log2(P(x))log2⁡(P(x))\log_{2}(P(x)) die …
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.