Als «variational-bayes» getaggte Fragen

Variations-Bayes'sche Methoden nähern sich schwer zu handhabenden Integralen an, die in der Bayes'schen Inferenz und im maschinellen Lernen zu finden sind. In erster Linie dienen diese Methoden einem von zwei Zwecken: Annäherung der posterioren Verteilung oder Begrenzung der Grenzwahrscheinlichkeit beobachteter Daten.

1
Variationsinferenz versus MCMC: Wann muss man sich entscheiden?
Ich glaube, ich habe eine allgemeine Vorstellung von VI und MCMC, einschließlich der verschiedenen Geschmacksrichtungen von MCMC wie Gibbs Sampling, Metropolis Hastings usw. Dieses Papier bietet eine wunderbare Darstellung beider Methoden. Ich habe folgende Fragen: Wenn ich bayesianische Schlussfolgerungen ziehen möchte, warum sollte ich dann eine Methode der anderen vorziehen? …
1
Beziehung zwischen Variation Bayes und EM
Ich habe irgendwo gelesen, dass die Variational Bayes-Methode eine Verallgemeinerung des EM-Algorithmus ist. In der Tat sind die iterativen Teile der Algorithmen sehr ähnlich. Um zu testen, ob der EM-Algorithmus eine spezielle Version der Variational Bayes ist, habe ich Folgendes versucht: Y.Y.Y ist Daten, ist die Sammlung latenter Variablen und …
2
Gewichtung des KLD-Verlusts im Vergleich zum Rekonstruktionsverlust bei variierenden automatischen Codierern
In fast allen Codebeispielen, die ich von einer VAE gesehen habe, sind die Verlustfunktionen wie folgt definiert (dies ist ein Tensorflow-Code, aber ich habe ähnliche für Theano, Fackel usw. gesehen. Es ist auch für ein Convnet, aber das ist auch nicht allzu relevant betrifft nur die Achsen, die die Summen …
1
Was sind Autoencoder für Variationen und für welche Lernaufgaben werden sie verwendet?
Gemäß dieser und dieser Antwort, scheinen Autoencoder eine Technik zu sein , das neuronale Netze für Dimensionsreduktion verwendet. Ich möchte zusätzlich wissen , was ist ein Variationsautoencoder (seine wichtigsten Unterschiede / Vorteile gegenüber einem „traditionellen“ Autoencoder) und auch das, was die wichtigsten Lernaufgaben sind diese Algorithmen für verwendet werden.
4
Wann sollte ich einen variablen Autoencoder anstelle eines Autoencoders verwenden?
Ich verstehe die Grundstruktur von variierendem Autoencoder und normalem (deterministischem) Autoencoder und die Mathematik dahinter, aber wann und warum würde ich eine Art von Autoencoder der anderen vorziehen? Alles, woran ich denken kann, ist die vorherige Verteilung latenter Variablen von variationalem Autoencoder, die es uns ermöglicht, die latenten Variablen abzutasten …
3
Was bedeutet eine "nachvollziehbare" Verteilung?
Zum Beispiel hören wir in einem generativen kontradiktorischen Netzwerk oft, dass Inferenz einfach ist, weil die bedingte Verteilung von x bei gegebener latenter Variable z 'traktierbar' ist. Außerdem habe ich irgendwo gelesen, dass eine Boltzmann-Maschine und ein Variations-Autoencoder verwendet werden, bei denen die posteriore Verteilung nicht nachvollziehbar ist, so dass …
1
Variationsinferenz, KL-Divergenz erfordert wahres
Nach meinem (sehr bescheidenen) Verständnis der Variationsinferenz versucht man, eine unbekannte Verteilung zu approximieren, pppindem man eine Verteilung qqq , die Folgendes optimiert: KL(p||q)=∑xp(x)logp(x)q(x)KL(p||q)=∑xp(x)logp(x)q(x)KL (p||q) = \sum\limits_{x} p(x)log \frac {p(x)}{q(x)} Immer wenn ich Zeit in das Verständnis von Variationsinferenzen investiere, treffe ich diese Formel und kann nicht anders, als das …
1
Was ist der Unterschied zwischen VAE und stochastischer Backpropagation für tiefe generative Modelle?
Was ist der Unterschied zwischen der automatischen Codierung von Variations-Bayes und der stochastischen Backpropagation für tiefe generative Modelle ? Führt die Schlussfolgerung bei beiden Methoden zu denselben Ergebnissen? Mir sind keine expliziten Vergleiche zwischen den beiden Methoden bekannt, obwohl sich beide Autorengruppen gegenseitig zitieren.
2
KL Verlust mit einer Einheit Gauß
Ich habe eine VAE implementiert und zwei verschiedene Online-Implementierungen der vereinfachten univariaten Gaußschen KL-Divergenz festgestellt. Die ursprüngliche Abweichung gemäß hier ist Wenn wir annehmen, dass unser Prior eine Einheit Gauß'sche ist, dh und , vereinfacht sich dies bis hinunter zu Und hier liegt meine Verwirrung. Obwohl ich mit der obigen …
1
Variational Bayes kombiniert mit Monte Carlo
Ich lese über Variations-Bayes nach, und so wie ich es verstehe, kommt es auf die Idee an, dass Sie approximieren (wobei die latenten Variablen Ihres Modells undp ( z∣ x )p(z∣x)p(z\mid x)zzzxxx die beobachteten Daten sind) mit einer Funktion approximieren , wobei angenommen wird, dass q als q i ( …
2
Unsicherheitsschätzung bei hochdimensionalen Inferenzproblemen ohne Abtastung?
Ich arbeite an einem hochdimensionalen Inferenzproblem (ca. 2000 Modellparameter), für das wir eine MAP-Schätzung robust durchführen können, indem wir das globale Maximum des log-posterior unter Verwendung einer Kombination aus gradientenbasierter Optimierung und einem genetischen Algorithmus ermitteln. Ich würde sehr gerne in der Lage sein, zusätzlich zur MAP-Schätzung eine Schätzung der …
2
Anwendung der stochastischen Variationsinferenz auf die Bayes'sche Mischung von Gauß'sch
Ich versuche , Gaussian Mixture Modell mit stochastischen Variations Inferenz zu implementieren, nach diesem Papier . Dies ist die pgm der Gaußschen Mischung. Dem Artikel zufolge ist der vollständige Algorithmus der stochastischen Variationsinferenz: Und ich bin immer noch sehr verwirrt über die Methode, sie auf GMM zu skalieren. Zuerst dachte …
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.