Was ist die maximale Entropiewahrscheinlichkeitsdichtefunktion für eine positive stetige Variable eines gegebenen Mittelwerts und einer gegebenen Standardabweichung?

13

Was ist die maximale Entropieverteilung ? für eine positive stetige Variable angesichts ihres ersten und zweiten Moments?

Zum Beispiel ist eine Gaußsche Verteilung die maximale Entropieverteilung für eine unbegrenzte Variable aufgrund ihres Mittelwerts und ihrer Standardabweichung, und eine Gamma-Verteilung ist die maximale Entropieverteilung für eine positive Variable aufgrund ihres Mittelwerts und des Mittelwerts ihres Logarithmus.

— becko
quelle

13

Man kann einfach den Satz von Boltzmann verwenden, der in dem Wikipedia-Artikel steht, auf den Sie verweisen .

Beachten Sie, dass das Angeben des Mittelwerts und der Varianz dem Angeben der ersten beiden Rohmomente entspricht - jedes bestimmt das andere (es ist eigentlich nicht erforderlich, dies aufzurufen, da wir den Satz möglicherweise direkt auf den Mittelwert und die Varianz anwenden, es ist auf diese Weise nur ein wenig einfacher ).

Der Satz legt dann fest, dass die Dichte die Form haben muss:

f (x) = c \exp (λ_{1} x + λ_{2} x^{2}) for all x \geq 0

$f(x)=c \exp\left(\lambda_1 x + \lambda_2 x^2 \right)\quad \mbox{ for all } x \geq 0$

$\lambda_2$ $\leq 0$ $\lambda$

Zu meiner Überraschung (da ich es nicht erwartet hätte, als ich diese Antwort startete) scheint dies eine abgeschnittene Normalverteilung zu hinterlassen.

Ich glaube nicht, dass ich dieses Theorem zuvor verwendet habe. Kritik oder hilfreiche Vorschläge zu Dingen, die ich nicht berücksichtigt oder ausgelassen habe, sind daher willkommen.

— Glen_b - Setzen Sie Monica wieder ein
quelle

- \infty

$-\infty$

\infty

$\infty$

x

$x$

1 / x

$1/x$

\frac{1}{x} \exp (- α x - β x^{2})

$\frac{1}{x}\exp(-\alpha x- \beta x^2)$

7

Ich möchte die Antwort von @ Glen_b expliziter machen. Hier ist eine zusätzliche Antwort, nur weil sie nicht als Kommentar passen würde.

f (x) \propto N (x | - 1 / 2 λ_{1} / λ_{2}, - 1 / (2 λ_{2}))

$f(x) \propto \mathcal{N}(x | -1/2 \lambda_1/\lambda_2, -1/(2\lambda_2))$

λ_{1}

$\lambda_1$

λ_{2}

$\lambda_2$

a_{1}, a_{2}

$a_1, a_2$

a_{1} = μ, a_{2} = μ^{2} + σ^{2}

$a_1=\mu, a_2=\mu^2 + \sigma^2$

λ_{1} = μ / σ^{2}, λ_{2} = - 0.5 σ^{2}

$\lambda_1=\mu/\sigma^2, \lambda_2=-0.5 \sigma^2$

N (x | μ, σ^{2})

$\mathcal{N}(x|\mu, \sigma^2)$

$x>x_{min}$ $\lambda_{1,2}$ $1/c$ $\mu$ $\sigma^2$ -Parameter des abgeschnittenen Gaußschen nicht der Mittelwert und die Varianz der stetigen Variablen sind, mit der Sie begonnen haben. Es kann sogar passieren, dass für $x_{min}=0$ ist der Modus des Gaußschen negativ! Natürlich stimmen alle Zahlen wieder überein, wenn Sie nehmen $x_{min} \to -\infty$ .

Wenn Sie konkrete Werte für haben $a_1, a_2$ können Sie immer noch lösen $\lambda_{1,2}$ numerisch und stecken Sie die Lösungen in die allgemeine Gleichung und Sie sind fertig! Die Werte von $\lambda_{1,2}$ aus dem unbegrenzten Fall kann ein guter Ausgangspunkt für den numerischen Löser sein.

Diese Frage ist ein Duplikat von /math/598608/what-is-the-maximum-entropy-distribution-for-a-continuous-random-variable-on-0

— Fred Schön
quelle