Bayesian vs Maximum Entropie

Angenommen, die Menge, auf die wir schließen wollen, ist eine Wahrscheinlichkeitsverteilung. Wir wissen , ist alles , was die Verteilung von einem Satz kommt bestimmt, sagen, von einigen seiner Momente und wir haben ein vorrangiges .$E$$Q$

Das Maximum-Entropie-Prinzip (MEP) besagt, dass das die geringste relative Entropie von (dh ) ist die beste Auswahl. Während die Bayes'sche Auswahlregel einen Prozess der Auswahl des Seitenzahns unter Berücksichtigung des Prior hat, der durch den Satz von Bayes gestützt wird.$P^{\star}\in E$$Q$$P^{\star}=\displaystyle \text{argmin}_{P\in E}D(P\|Q)$

Meine Frage ist, ob es einen Zusammenhang zwischen diesen beiden Inferenzmethoden gibt (dh ob die beiden Methoden für dasselbe Problem gelten und etwas gemeinsam haben). Oder ob sich die Einstellung in der Bayes'schen Folgerung vollständig von der oben genannten Einstellung unterscheidet? Oder mache ich keinen Sinn?!

Dies mag etwas spät kommen, aber die Frage sollte umformuliert werden: Wie von Jaynes definiert , ist die maximale Entropie ein Weg, eine vorherige Verteilung zu konstruieren, die (a) die durch auferlegten Bedingungen erfüllt und (b) die maximale Entropie relativ zu aufweist ein Referenzmaß im kontinuierlichen Fall: Somit ist die maximale Entropie (Jaynes ') eindeutig Teil der Bayes'schen Toolbox. Und der maximale Entropieprior liefert nicht die vorherige Verteilung, die dem wahren Prior am nächsten kommt, wie aus Ashoks Frage hervorgeht.$E$

Die Bayes'sche Folgerung über eine Verteilung ist ein völlig anderes Problem, das von Bayes'schen Nichtparametern behandelt wird (siehe z. B. dieses kürzlich erschienene Buch von Hjort et al.). Es erfordert Beobachtungen von , was nicht die Einstellung der aktuellen Frage zu sein scheint ...$Q$$Q$