Variational Bayes kombiniert mit Monte Carlo

Ich lese über Variations-Bayes nach, und so wie ich es verstehe, kommt es auf die Idee an, dass Sie approximieren (wobei die latenten Variablen Ihres Modells und $p(z\mid x)$ $z$ $x$ die beobachteten Daten sind) mit einer Funktion approximieren , wobei angenommen wird, dass als faktorisiert wird, wobei eine Teilmenge der latenten Variablen ist. Es kann dann gezeigt werden, dass der optimale Faktor ist: $q(z)$ $q$ $q_i(z_i)$ $z_i$ $q_i(z_i)$

q_{ich}^{*} (z_{ich}) = ⟨ \ln p (x, z) ⟩_{z /. ich} + const.

$q^*_i(z_i) = \langle \ln p(x, z)\rangle_{z/i} + \text{const.}$

Wobei die spitzen Klammern die Erwartung über alle latenten Variablen mit Ausnahme von in Bezug auf die Verteilung . $z_i$ $q(z)$

Dieser Ausdruck wird nun normalerweise analytisch ausgewertet, um eine genaue Antwort auf einen ungefähren Zielwert zu erhalten. Da dies jedoch eine Erwartung ist, ist es mir ein offensichtlicher Ansatz, diese Erwartung durch Stichproben zu approximieren. Dies würde Ihnen eine ungefähre Antwort auf eine ungefähre Zielfunktion geben, stellt jedoch einen sehr einfachen Algorithmus dar, möglicherweise für Fälle, in denen der analytische Ansatz nicht durchführbar ist.

Meine Frage ist, ist dies ein bekannter Ansatz ? Hat es einen Namen? Gibt es Gründe, warum es möglicherweise nicht so gut funktioniert oder keinen so einfachen Algorithmus liefert?

variational-bayes

— Peter
quelle

Ich denke, das größere Problem wird die Untertreibung der Unsicherheit sein, die VB-Näherungen normalerweise erzeugen.

— Wahrscheinlichkeitslogik

Ich gebe zu, dass dies keine Domäne ist, die ich sehr gut kenne. Nehmen Sie dies also mit einem Körnchen Salz.

$q^\star_i$ $q^\star$ $\tilde q$

$q_i$

Was Sie also vorschlagen, ist nicht so einfach, aber es kommt einer tatsächlichen Methode sehr nahe, die erst kürzlich vorgeschlagen wurde

— Guillaume Dehaene
quelle