Man beweise, dass die maximale Entropieverteilung mit einer festen Kovarianzmatrix ein Gaußscher Wert ist

13

Ich versuche, mich mit dem folgenden Beweis zu beschäftigen, dass der Gaußsche die maximale Entropie hat.

Wie macht der markierte Schritt Sinn? Eine bestimmte Kovarianz korrigiert nur den zweiten Moment. Was passiert mit dem dritten, vierten, fünften Moment usw.?

entropy information-theory maximum-entropy

— Tarrare
quelle

13

Der mit einem Stern versehene Schritt ist gültig, da (a) und den gleichen nullten und zweiten Moment haben und (b) eine Polynomfunktion der Komponenten von deren Terme die Gesamtgrade oder . $p$ $q$ $\log(p)$ $\mathbf{x}$ $0$ $2$

Sie müssen nur zwei Dinge über eine multivariate Normalverteilung mit dem Mittelwert Null wissen:

ist eine quadratische Funktion von ohne lineare Terme. Insbesondere gibt es Konstanten und , für die $\log(p)$ $\mathbf{x}=(x_1,x_2,\ldots,x_n)$ $C$ $p_{ij}$
$\log (p (x)) = C + \sum_{i, j = 1}^{n} p_{i j} x_{i} x_{j} .$ $\log(p(\mathbf{x}))=C + \sum_{i,j=1}^n p_{ij}\, x_i x_j.$
(Natürlich können und das in , aber dieses Detail spielt keine Rolle.) $C$ $p_{ij}$ $\Sigma$
gibt die zweiten Momente der Verteilung an. Das heißt, $\Sigma$
$Σ_{i j} = E_{p} (x_{i} x_{j}) = \int p (x) x_{i} x_{j} d x .$ $\Sigma_{ij}=E_p(x_i x_j) = \int p(\mathbf{x})\, x_ix_j\, d\mathbf{x}.$

Wir können diese Informationen verwenden, um ein Integral zu erarbeiten:

\begin{aligned} \int (q (x) - p (x)) \log (p (x)) d x \\ = & \int (q (x) - p (x)) (C + \sum_{i, j = 1}^{n} p_{i j} x_{i} x_{j}) d x . \end{aligned}

$\eqalign{ & &\int(q(\mathbf{x}) - p(\mathbf{x}))\log(p(\mathbf{x}))d\mathbf{x} \\ &= &\int(q(\mathbf{x}) - p(\mathbf{x}))\left(C + \sum_{i,j=1}^n p_{ij}\, x_i x_j\right)d\mathbf{x}. }$

Es zerfällt in die Summe zweier Teile:

$\int(q(x) - p(x))C\, d\mathbf{x} = C\left(\int q(\mathbf{x}) d\mathbf{x} - \int p(\mathbf{x}) d\mathbf{x}\right) = C(1 - 1) = 0$ $q$ $p$
$\int(q(\mathbf{x}) - p(\mathbf{x})) \sum_{i,j=1}^n p_{ij}\, x_i x_jd\mathbf{x} = \sum_{i,j=1}^n p_{ij}\int(q(\mathbf{x}) - p(\mathbf{x}))x_i x_jd\mathbf{x} = 0$ $\int q(\mathbf{x}) x_i x_jd\mathbf{x}$ $\int p(\mathbf{x}) x_i x_jd\mathbf{x}$ $\Sigma_{ij}$

$\int(q(\mathbf{x}) - p(\mathbf{x}))\log(p(\mathbf{x}))d\mathbf{x}=0$ $\int q(\mathbf{x})\log(p(\mathbf{x}))d\mathbf{x} = \int p(\mathbf{x})\log(p(\mathbf{x}))d\mathbf{x}.$

— whuber
quelle

1

$q(x)$ $p(x)$ $\sigma_{ij}x_ix_j$ $p(x)$ $p(x)$ $q(x)$ auf den gleichen Wert integrieren.

— F. Tusell
quelle