Stimmt die maximale Entropieverteilung mit den gegebenen Randverteilungen mit der Produktverteilung der Randverteilungen überein?

Es ist in der Regel viele gemeinsame Verteilungen $P(X_1 = x_1, X_2 = x_2, ..., X_n = x_n)$ in Übereinstimmung mit einer bekannten Satz Randverteilungen .$f_i(x_i) = P(X_i = x_i)$

von diesen gemeinsamen Verteilungen das Produkt gebildet, indem das Produkt der das mit der höchsten Entropie genommen wird?$\prod_i f_i(x_i)$

Ich glaube sicherlich, dass dies wahr ist, würde aber gerne einen Beweis sehen.

Ich interessiere mich am meisten für den Fall, dass alle Variablen diskret sind, wäre aber auch an Kommentaren zur Entropie in Bezug auf Produktmaße im kontinuierlichen Fall interessiert.

Eine Möglichkeit besteht darin, die Eigenschaften der Kullback-Leibler-Divergenz zu nutzen .

Sei die Familie der Verteilungen mit den gegebenen Rändern und sei Q die Produktverteilung (und offensichtlich Q ∈ P ).$\mathfrak{P}$$Q$$Q \in \mathfrak{P}$

Für jedes lautet die Kreuzentropie:$P \in \mathfrak{P}$

$H(P,Q) = E_P [\log q(X)] = E_P \left[ \log \prod_i q_i(X) \right] = \sum_i E_P [\log q_i(X)] = \sum_i H(P_i,Q_i)$

das heißt, die Summe der Kreuzentropie der Ränder. Da alle Ränder festgelegt sind, muss dieser Begriff selbst festgelegt werden.

Jetzt können wir die KL-Divergenz wie folgt schreiben:

$D_{KL}(P \| Q) = H(P,Q) - H(P)$

und daher:

$\operatorname*{arg\,min}_{P \in \mathfrak{P}} \ D_{KL}(P \| Q) = \operatorname*{arg\,max}_{P \in \mathfrak{P}} \ H(P)$

das heißt, die Verteilung , die die Entropie maximiert, ist diejenige, die die KL-Divergenz mit minimiert , von der wir aufgrund der Eigenschaften der KL-Divergenz wissen, dass sie selbst ist.Q $P$$Q$$Q$