Was ist der Unterschied zwischen Kreuzentropie und KL-Divergenz?

Sowohl die Kreuzentropie als auch die KL-Divergenz sind Werkzeuge zur Messung des Abstands zwischen zwei Wahrscheinlichkeitsverteilungen. Was ist der Unterschied?

H (P, Q) = - \sum_{x} P (x) \log Q (x)

$H(P,Q) = -\sum_x P(x)\log Q(x)$

Darüber hinaus entspricht die Minimierung von KL der Minimierung der Kreuzentropie.

K L (P | Q) = \sum_{x} P (x) \log \frac{P (x)}{Q (x)}

$KL(P | Q) = \sum_{x} P(x)\log {\frac{P(x)}{Q(x)}}$

Ich möchte sie instinktiv kennenlernen.

Vielen Dank im Voraus.

entropy kullback-leibler cross-entropy

— Jourd
quelle

Sie benötigen einige Bedingungen, um die Äquivalenz zwischen der Minimierung der Kreuzentropie und der Minimierung der KL-Divergenz zu behaupten. Ich werde Ihre Frage in den Kontext von Klassifizierungsproblemen stellen, bei denen Kreuzentropie als Verlustfunktion verwendet wird.

S (v) = - \sum_{i} p (v_{i}) \log p (v_{i}),

$\begin{equation} S(v)=-\sum_ip(v_i)\log p(v_i)\label{eq:entropy}, \end{equation}$

p (v_{i})

$p(v_i)$

v_{i}

$v_i$

S (v)

$S(v)$

Zum Beispiel ist das Ereignis A I will die eventuallyfast sicher (vielleicht können wir das Alterungsproblem für Wort lösen almost), daher hat es eine niedrige Entropie the aging problem cannot be solved, für deren Gewissheit nur die Informationen von erforderlich sind . Das Ereignis B The president will die in 50 yearsist jedoch viel unsicherer als A und benötigt daher mehr Informationen, um die Unsicherheiten zu beseitigen.

D_{K L} (A ∥ B) = \sum_{i} p_{A} (v_{i}) \log p_{A} (v_{i}) - p_{A} (v_{i}) \log p_{B} (v_{i}),

$\begin{equation} D_{KL}(A\parallel B) = \sum_ip_A(v_i)\log p_A(v_i) - p_A(v_i)\log p_B(v_i)\label{eq:kld}, \end{equation}$

D_{K L}

$D_{KL}$ beschreibt, wie unterschiedlich B von A aus der Sicht von A ist.

H (A, B) = - \sum_{i} p_{A} (v_{i}) \log p_{B} (v_{i}) .

$\begin{equation} H(A, B) = -\sum_ip_A(v_i)\log p_B(v_i)\label{eq:crossentropy}. \end{equation}$

H (A, B) = D_{K L} (A ∥ B) + S_{A} .

$\begin{equation} H(A, B) = D_{KL}(A\parallel B)+S_A\label{eq:entropyrelation}. \end{equation}$

S_{A}

$S_A$

H (A, B)

$H(A, B)$

D_{K L} (A ∥ B)

$D_{KL}(A\parallel B)$

$P(\mathcal D)$ $P(model)$ $P(truth)$ $P(truth)$ $P(\mathcal D)$

P (m o d e l) \approx P (D) \approx P (t r u t h)

$\begin{equation} P(model)\approx P(\mathcal D) \approx P(truth) \end{equation}$

D_{K L} (P (D) ∥ P (m o d e l))

$D_{KL}(P(\mathcal D)\parallel P(model))$

D

$\mathcal D$

S (D)

$S(D)$ ist als Konstante festgelegt.

— doppelt
quelle

Vielen Dank für Ihre Antwort. Es vertiefte mein Verständnis. Wenn wir also einen Datensatz haben, ist es effektiver, die Kreuzentropie zu minimieren, als KL, oder? Ich kann jedoch den richtigen Gebrauch nicht verstehen. Mit anderen Worten, wann sollte ich KL oder Kreuzentropie minimieren?

— Jourd

Nachdem Sie Ihre Antwort gelesen haben, ist es meines Erachtens nicht sinnvoll, KL zu minimieren, da wir immer einen Datensatz P (D) haben.

— Jourd

Idealerweise würde man die KL-Divergenz wählen, um den Abstand zwischen zwei Verteilungen zu messen. Im Zusammenhang mit der Klassifizierung ergibt sich der Kreuzentropieverlust normalerweise aus der negativen Log-Wahrscheinlichkeit, beispielsweise wenn Sie die Bernoulli-Verteilung zur Modellierung Ihrer Daten wählen.

— Doppel

Vielleicht möchten Sie sich diesen großartigen Beitrag ansehen . Die Symmetrie ist bei der Klassifizierung kein Problem, da das Ziel maschineller Lernmodelle darin besteht, die vorhergesagte Verteilung so nah wie möglich an das feste P (D) heranzuführen, obwohl normalerweise Regularisierungen hinzugefügt werden, um eine Überanpassung zu vermeiden.

— Doppel

S_{A}

$S_A$

H (q, p) = D_{K L} (p, q) + H (p) = - \sum_{i} p_{i} l o g (q_{i})

$H(q, p) = D_{KL}(p, q)+H(p) = -\sum_i{p_ilog(q_i)}$

$p'$ $p$

— zewen liu
quelle

Diese Antwort habe ich gesucht. Nach meiner eigenen aktuellen Erfahrung, bei der Zielwahrscheinlichkeiten gelernt werden, ist BCE weitaus robuster als KL. Grundsätzlich war KL unbrauchbar. KL und BCE sind keine "äquivalenten" Verlustfunktionen.

— Nicholas Leonard