Welche Verteilung hat die maximale Entropie für eine bekannte mittlere absolute Abweichung?

Ich habe die Diskussion in Hacker News über die Verwendung der Standardabweichung im Gegensatz zu anderen Metriken wie der mittleren absoluten Abweichung gelesen . Wenn wir also dem Prinzip der maximalen Entropie folgen würden, mit welcher Art von Verteilung würden wir arbeiten, wenn wir nur den Mittelwert der Verteilung und die mittlere absolute Abweichung kennen würden?

Oder ist es sinnvoller, den Median und die mittlere absolute Abweichung vom Median zu verwenden?

Ich habe ein Papier Maximum Entropy Principle mit allgemeinen Abweichungsmaßen von Grechuk, Molyboha und Zabarankin gefunden, das die Informationen zu enthalten scheint, auf die ich neugierig bin, aber es dauert eine Weile, bis ich sie entschlüsselt habe.

distributions maximum-entropy mad

— Dietrich Epp
quelle

Interessante Frage; Willkommen bei Cross Validated!

— Nick Stauner

Diese weisen Herren, Kotz, S., Kozubowski, TJ & Podgorski, K. (2001). Die Laplace-Verteilung und Verallgemeinerungen: Ein Rückblick auf Anwendungen in den Bereichen Kommunikation, Wirtschaft, Ingenieurwesen und Finanzen (Nr. 183). Springer.

Fordern Sie uns mit einer Übung heraus:

Geben Sie hier die Bildbeschreibung ein

Der Beweis kann dem informationstheoretischen Beweis folgen, dass das Normal die maximale Entropie für den gegebenen Mittelwert und die gegebene Varianz ist. Insbesondere: Sei die obige Laplace-Dichte und sei eine beliebige andere Dichte, die jedoch den gleichen Mittelwert und die gleiche mittlere absolute Abweichung aufweist. Dies bedeutet, dass folgende Gleichheit gilt: $f(x)$ $g(x)$

E_{g} (| X - c_{1} |) = \int g (x) | x - c_{1} | d x = c_{2} = \int f (x) | x - c_{1} | d x = E_{f} (| X - c_{1} |) [1]

$E_g(|X-c_1|)=\int g(x)|x-c_1|dx=c_2 =\int f(x)|x-c_1|dx =E_f(|X-c_1|)\qquad [1]$ Betrachten Sie nun die Kullback-Leibler-Divergenz der beiden Dichten:

0 \leq D_{K L} (g | | f) = \int g (x) \ln (\frac{g (x)}{f (x)}) d x = \int g (x) \ln g (x) d x - \int g (x) \ln f (x) d x [2]

$0\le D_{KL}(g||f) = \int g(x)\ln\left(\frac {g(x)}{f(x)}\right)dx = \int g(x)\ln g(x)dx -\int g(x)\ln f(x)dx \qquad [2]$

Das erste Integral ist das Negativ der (Differential-) Entropie von , bezeichnet es . Das zweite Integral ist (explizit das Laplace-PDF schreiben) $g$ $-h(g)$

\int g (x) \ln [f (x)] d x = \int g (x) \ln [\frac{1}{2 c_{2}} \exp {- \frac{1}{c_{2}} | x - c_{1} |}] d x

$\int g(x)\ln[f(x)]dx = \int g(x)\ln\left[\frac{1}{2c_2}\exp\left\{-\frac 1{c_2} |x-c_1|\right\}\right]dx$

= \ln [\frac{1}{2 c_{2}}] \int g (x) d x - \frac{1}{c_{2}} \int g (x) | x - c_{1} | d x

$=\ln\left[\frac{1}{2c_2}\right]\int g(x)dx- \frac 1{c_2}\int g(x)|x-c_1|dx$ Das erste Integral integriert sich zur Einheit und verwendet auch Gl. wir

[1]

$[1]$

\int g (x) \ln [f (x)] d x = - \ln [2 c_{2}] - \frac{1}{c_{2}} \int f (x) | x - c_{1} | d x = - (\ln [2 c_{2}] + 1)

$\int g(x)\ln[f(x)]dx = -\ln\left[2c_2\right] - \frac 1{c_2}\int f(x)|x-c_1|dx = -(\ln\left[2c_2\right] +1)$ Dies ist jedoch das Negative der Differentialentropie des Laplace, bezeichne es .

- h (f)

$-h(f)$

Einfügen dieser Ergebnisse in Gl. wir haben Da willkürlich war, beweist dies, dass die oberhalb der Laplace-Dichte ist die maximale Entropie unter allen Verteilungen mit den obigen Vorschriften. $[2]$

0 \leq D (g | | f) = - h (g) - (- h (f)) \Rightarrow h (g) \leq h (f)

$0\le D(g||f) = -h(g) - (-h(f)) \Rightarrow h(g) \le h(f)$

g

$g$

— Alecos Papadopoulos
quelle

So eine einfache Verteilung und auch eine schöne Zusammenfassung! Ich vermutete, dass die Verteilung glatt sein würde, außer bei 0.

— Dietrich Epp

Vielen Dank. Manchmal "das gleiche geht mit dem gleichen" - da die Laplace-Verteilung den absoluten Wert enthält, war sie ein Hauptverdächtiger.

— Alecos Papadopoulos