Nachdem ich Videos auf Youtube gesehen habe, habe ich das Gefühl, dass ich nicht wirklich definieren kann, was Variationsinferenz ist. Ich kann die Verfahren befolgen, während ich mir die Videovorträge darüber ansehe. Aber schwer zu definieren, was wirklich ist. Ich hoffe, davon zu hören.
Antworten:
Nicht basierend auf meinem Wissen, aber hier ist ein Artikel (in ziemlich einfachem Englisch), der meiner Meinung nach für die Frage sehr relevant ist: Blei, Kucukelbir & McAuliffe 2016. Variationsinferenz: Ein Überblick für Statistiker . https://arxiv.org/abs/1601.00670
Aus der Zusammenfassung:
Eines der Kernprobleme der modernen Statistik ist die Annäherung an schwer zu berechnende Wahrscheinlichkeitsdichten. Dieses Problem ist besonders wichtig in der Bayes'schen Statistik, in der alle Rückschlüsse auf unbekannte Größen als Berechnung für die posteriore Dichte herangezogen werden. In diesem Artikel untersuchen wir die Variationsinferenz (VI), eine Methode aus dem maschinellen Lernen, die die Wahrscheinlichkeitsdichten durch Optimierung approximiert. VI wurde in vielen Anwendungen verwendet und ist tendenziell schneller als klassische Methoden wie die Markov-Ketten-Monte-Carlo-Probenahme. Die Idee hinter VI ist, zuerst eine Familie von Dichten zu positionieren und dann das Mitglied dieser Familie zu finden, das nahe am Ziel ist. Die Nähe wird durch Kullback-Leibler-Divergenz gemessen. Wir überprüfen die Ideen hinter der Inferenz von Mittelfeldvariationen, diskutieren den Spezialfall von VI, der auf exponentielle Familienmodelle angewendet wird, präsentieren ein vollständiges Beispiel mit einer Bayes'schen Mischung von Gaußschen und leiten eine Variante ab, die stochastische Optimierung verwendet, um auf massive Daten zu skalieren. Wir diskutieren moderne Forschung in VI und heben wichtige offene Probleme hervor. VI ist mächtig, aber es ist noch nicht gut verstanden . Wir hoffen, mit diesem Artikel die statistische Forschung zu dieser Klasse von Algorithmen zu katalysieren.
Sie bieten auch Anleitungen, wann Statistiker Markov-Ketten-Monte-Carlo-Stichproben verwenden sollten und wann Variationsinferenz (siehe Abschnitt Vergleichen von Variationsinferenz und MCMC im Artikel).