Die Inferenzmethoden nach MaxEnt und Bayes entsprechen unterschiedlichen Methoden zur Einbeziehung von Informationen in Ihre Modellierungsprozedur. Beide können auf axiomatischen Grund gestellt werden (John Skillings "Axioms of Maximum Entropy" und Coxs "Algebra of Probable Inference" ).
Der Bayes'sche Ansatz ist einfach anzuwenden, wenn Ihr Vorwissen in Form einer messbaren reellen Wertfunktion über Ihrem Hypothesenraum vorliegt, die als "vor" bezeichnet wird. MaxEnt ist unkompliziert, wenn die Informationen als eine Reihe von harten Einschränkungen für Ihren Hypothesenraum vorliegen. Im wirklichen Leben gibt es Wissen weder in "vorheriger" Form noch in "eingeschränkter" Form. Daher hängt der Erfolg Ihrer Methode von Ihrer Fähigkeit ab, Ihr Wissen in der entsprechenden Form darzustellen.
Bei einem Spielzeugproblem ergibt die Bayes'sche Modellmittelung den niedrigsten durchschnittlichen Log-Verlust (gemittelt über viele Modellzeichnungen), wenn der Prior der wahren Verteilung der Hypothesen entspricht. Der MaxEnt-Ansatz ergibt den niedrigsten log-Verlust im ungünstigsten Fall, wenn seine Einschränkungen erfüllt sind (der schlechteste aller möglichen Prioritäten).
ETJaynes, der als Vater der "MaxEnt" -Methoden gilt, stützte sich ebenfalls auf Bayes'sche Methoden. Auf Seite 1412 seines Buches gibt er ein Beispiel, in dem der Bayes'sche Ansatz zu einer guten Lösung führte, gefolgt von einem Beispiel, in dem der MaxEnt-Ansatz natürlicher ist.
Die maximale Wahrscheinlichkeit besteht im Wesentlichen darin, dass das Modell in einem vorgegebenen Modellbereich liegt und versucht, ihn "so genau wie möglich" anzupassen, sodass es die höchste Sensitivität für Daten aus allen auf ein solches Modell beschränkten Modellauswahlmethoden aufweist Platz. Während MaxEnt und Bayesian Frameworks sind, ist ML eine konkrete Modellanpassungsmethode, und für einige bestimmte Entwurfsentscheidungen kann ML die Methode verwenden, die sich aus dem Bayesian- oder MaxEnt-Ansatz ergibt. Zum Beispiel entspricht MaxEnt mit Gleichheitsbeschränkungen der Maximum-Likelihood-Anpassung einer bestimmten Exponentialfamilie. Ebenso kann eine Annäherung an die Bayes'sche Inferenz zu einer regularisierten Maximum-Likelihood-Lösung führen. Wenn Sie vorab festlegen, dass Ihre Schlussfolgerungen maximal datenempfindlich sind, entspricht das Ergebnis der Bayes'schen Inferenz der Anpassung mit maximaler Wahrscheinlichkeit. Zum Beispiel,p über Bernoulli-Studien, so vor wäre die Grenzverteilung Beta (0,0)
Real-Life-Erfolge beim maschinellen Lernen sind oft eine Mischung aus verschiedenen Philosophien. Zum Beispiel, „Random Fields“ wurden abgeleitet aus MaxEnt Prinzipien. Bei der gängigsten Implementierung der Idee, der regularisierten CRF, wird den Parametern ein "Prior" hinzugefügt. Infolgedessen ist die Methode weder wirklich MaxEnt noch Bayesianisch, sondern wird von beiden Denkrichtungen beeinflusst.
Ich habe hier und hier einige Links zu philosophischen Grundlagen der Bayes- und MaxEnt-Ansätze gesammelt .
Anmerkung zur Terminologie: Manchmal wird die Methode Bayesian genannt , wenn irgendwann die Bayes-Regel verwendet wird. Ebenso wird "MaxEnt" manchmal für eine Methode verwendet, die Lösungen mit hoher Entropie bevorzugt. Dies ist nicht dasselbe wie "MaxEnt-Inferenz" oder "Bayes'sche Inferenz", wie oben beschrieben