Warum ist der mittlere quadratische Fehler die Kreuzentropie zwischen der empirischen Verteilung und einem Gaußschen Modell?

28

In 5.5, Deep Learning (von Ian Goodfellow, Yoshua Bengio und Aaron Courville) heißt es:

Jeder Verlust, der aus einer negativen logarithmischen Wahrscheinlichkeit besteht, ist eine Kreuzentropie zwischen der empirischen Verteilung, die durch den Trainingssatz definiert ist, und der Wahrscheinlichkeitsverteilung, die durch das Modell definiert ist. Zum Beispiel ist der mittlere quadratische Fehler die Kreuzentropie zwischen der empirischen Verteilung und einem Gaußschen Modell.

Ich kann nicht verstehen, warum sie gleichwertig sind und die Autoren nicht auf den Punkt erweitern.

machine-learning normal-distribution cross-entropy

— Mufei Li
quelle

32

Die Daten seien . Schreiben Sie für die empirische Verteilung. Per Definition für jede Funktion , $\mathbf{x}=(x_1, \ldots, x_n)$ $F(\mathbf{x})$ $f$

E_{F (x)} [f (X)] = \frac{1}{n} \sum_{i = 1}^{n} f (x_{i}) .

$\mathbb{E}_{F(\mathbf{x})}[f(X)] = \frac{1}{n}\sum_{i=1}^n f(x_i).$

Das Modell habe die Dichte wobei auf dem Träger des Modells definiert ist. Die Kreuzentropie von und ist definiert als $M$ $e^{f(x)}$ $f$ $F(\mathbf{x})$ $M$

\begin{matrix} (1) & H (F (x), M) = - E_{F (x)} [\log (e^{f (X)}] = - E_{F (x)} [f (X)] = - \frac{1}{n} \sum_{i = 1}^{n} f (x_{i}) . \end{matrix}

$H(F(\mathbf{x}), M) = -\mathbb{E}_{F(\mathbf{x})}[\log(e^{f(X)}] = -\mathbb{E}_{F(\mathbf{x})}[f(X)] =-\frac{1}{n}\sum_{i=1}^n f(x_i).\tag{1}$

Unter der Annahme, dass eine einfache Zufallsstichprobe ist, ist die Wahrscheinlichkeit eines negativen Logs gleich $x$

\begin{matrix} (2) & - \log (L (x)) = - \log \prod_{i = 1}^{n} e^{f (x_{i})} = - \sum_{i = 1}^{n} f (x_{i}) \end{matrix}

$-\log(L(\mathbf{x}))=-\log \prod_{i=1}^n e^{f(x_i)} = -\sum_{i=1}^n f(x_i)\tag{2}$

aufgrund der Eigenschaften von Logarithmen (sie wandeln Produkte in Summen um). Der Ausdruck ist ein konstanter facher Ausdruck . Da Verlustfunktionen in Statistiken nur durch Vergleichen verwendet werden, spielt es keine Rolle, dass eine (positive) Konstante die andere ist. In diesem Sinne ist die negative logarithmische Wahrscheinlichkeit eine Kreuzentropie im Zitat. $(2)$ $n$ $(1)$

Es erfordert etwas mehr Vorstellungskraft, um die zweite Behauptung des Zitats zu rechtfertigen. Die Verbindung mit dem quadratischen Fehler ist klar, da für ein "Gaußsches Modell", das Werte an Punkten vorhersagt , der Wert von an jedem solchen Punkt ist $p(x)$ $x$ $f$

f (x; p, σ) = - \frac{1}{2} (\log (2 π σ^{2}) + \frac{(x - p (x))^{2}}{σ^{2}}),

$f(x; p, \sigma) = -\frac{1}{2}\left(\log(2\pi \sigma^2) + \frac{(x-p(x))^2}{\sigma^2}\right),$

$(x-p(x))^2$ $1/(2\sigma^2)$ $\sigma$ $\sigma$ $\sigma$

$\sigma = \sigma(x)$

— whuber
quelle

1

g ()

$g ()$

f ()

$f ()$

F ()

$F ()$

σ^{2}

$\sigma^2$

k \sum_{i = 1}^{n} {(x_{i} - p (x_{i}))}^{2}

$k\sum_{i=1}^n \left (x_i - p (x_i)\right)^2$

- \frac{1}{2} \log [\sum_{i = 1}^{n} {(x_{i} - p (x_{i}))}^{2}] + h (k)

$-\frac {1}{2}\log\left [\sum_{i=1}^n \left (x_i - p (x_i)\right)^2\right] +h(k)$

F

$F$

f

$f$

Hallo, ich denke, das gilt nur für die lineare Verteilung. Ich denke, wir können bei nichtlinearen Verteilungsproblemen immer noch MSE als Kostenfunktion verwenden, oder?

— Lion Lai

5

Für die Leser des Deep Learning-Buches möchte ich zu der sehr gut akzeptierten Antwort hinzufügen, dass die Autoren ihre Aussage in Abschnitt 5.5.1, nämlich im Beispiel: Lineare Regression als maximale Wahrscheinlichkeit, ausführlich erläutern .

Dort listen sie genau die in der akzeptierten Antwort erwähnte Einschränkung auf:

$p(y | x) = \mathcal{N}\big(y; \hat{y}(x; w), \sigma^2\big)$ $\hat{y}(x; w)$ $\sigma^2$

$p(y|x)$

— Kilian Batzner
quelle