Statistiken und Big Data autoencoders

2

Was ist der Ursprung der Autoencoder-Neuronalen Netze?

Ich habe in Google, Wikipedia, Google Scholar und anderen Quellen gesucht, aber den Ursprung der Autoencoder nicht gefunden. Vielleicht ist es eines dieser Konzepte, das sich sehr allmählich weiterentwickelt hat, und es ist unmöglich, einen klaren Ausgangspunkt zu finden, aber ich möchte dennoch eine Art Zusammenfassung der wichtigsten Schritte ihrer …

13 neural-networks autoencoders history

4

Was sind die Unterschiede zwischen Autoencodern und t-SNE?

Soweit ich weiß, werden sowohl Autoencoder als auch t-SNE zur nichtlinearen Dimensionsreduktion verwendet. Was sind die Unterschiede zwischen ihnen und warum sollte ich einen gegen einen anderen verwenden?

12 neural-networks deep-learning dimensionality-reduction autoencoders tsne

1

Kann ich ReLU im Autoencoder als Aktivierungsfunktion verwenden?

Bei der Implementierung eines Autoencoders mit einem neuronalen Netzwerk verwenden die meisten Benutzer Sigmoid als Aktivierungsfunktion. Können wir stattdessen ReLU verwenden? (Da ReLU keine Begrenzung für die Obergrenze hat, bedeutet dies im Grunde, dass das Eingabebild Pixel größer als 1 haben kann, im Gegensatz zu den eingeschränkten Kriterien für Autoencoder, …

11 machine-learning neural-networks deep-learning autoencoders

2

Balancing Reconstruction vs KL Loss Variational Autoencoder

Ich trainiere einen bedingten Variations-Autoencoder für einen Datensatz von Gesichtern. Wenn ich meinen KLL-Verlust gleich meinem Rekonstruktionsverlust-Term setze, scheint mein Autoencoder nicht in der Lage zu sein, verschiedene Proben zu produzieren. Ich bekomme immer die gleichen Arten von Gesichtern: Diese Proben sind schrecklich. Wenn ich jedoch das Gewicht des KLL-Verlusts …

11 machine-learning computer-vision autoencoders

2

KL Verlust mit einer Einheit Gauß

Ich habe eine VAE implementiert und zwei verschiedene Online-Implementierungen der vereinfachten univariaten Gaußschen KL-Divergenz festgestellt. Die ursprüngliche Abweichung gemäß hier ist Wenn wir annehmen, dass unser Prior eine Einheit Gauß'sche ist, dh und , vereinfacht sich dies bis hinunter zu Und hier liegt meine Verwirrung. Obwohl ich mit der obigen …

10 inference kullback-leibler autoencoders variational-bayes

1

Dieses Autoencoder-Netzwerk kann nicht ordnungsgemäß funktionieren (mit Faltungs- und Maxpool-Schichten).

Autoencoder- Netzwerke scheinen viel schwieriger zu sein als normale Klassifikator-MLP-Netzwerke. Nach mehreren Versuchen mit Lasagne ist alles, was ich in der rekonstruierten Ausgabe bekomme, etwas, das im besten Fall einer verschwommenen Mittelung aller Bilder der MNIST- Datenbank ähnelt, ohne zu unterscheiden, was die eingegebene Ziffer tatsächlich ist. Die von mir …

9 machine-learning neural-networks dimensionality-reduction unsupervised-learning autoencoders

1

Was sind die Unterschiede zwischen Filtern, die im Autoencoder und im Faltungsnetzwerk gelernt wurden?

In CNN lernen wir Filter, um eine Feature-Map in einer Faltungsschicht zu erstellen. In Autoencoder kann die einzelne verborgene Einheit jeder Ebene als Filter betrachtet werden. Was ist der Unterschied zwischen den Filtern, die in diesen beiden Netzwerken gelernt wurden?

9 machine-learning neural-networks conv-neural-network autoencoders

1

Variations-Autoencoder mit Gaußschem Mischungsmodell

Ein Variations-Autoencoder (VAE) bietet eine Möglichkeit, die Wahrscheinlichkeitsverteilung lernen die einen Eingang mit seiner latenten Darstellung Beziehung setzt . Insbesondere ordnet der Codierer einen Eingang einer Verteilung auf . Ein typischer Encoder gibt Parameter , die die Gaußsche Verteilung . Diese Verteilung wird als Näherung für .p ( x , …

9 neural-networks deep-learning autoencoders variational-bayes

1

Ist ein gieriges schichtweises Training tiefer Netzwerke für ein erfolgreiches Training erforderlich oder reicht ein stochastischer Gradientenabstieg aus?

Ist es möglich, Ergebnisse auf dem neuesten Stand der Technik zu erzielen, indem nur die Rückausbreitung verwendet wird (ohne Vorschulung )? Oder ist es so, dass alle rekordverdächtigen Ansätze irgendeine Form von Vorschulung verwenden? Ist die Rückausbreitung allein gut genug?

8 deep-learning autoencoders deep-belief-networks pre-training

2

Sparse Autoencoder [Hyper] -Parameter

Ich habe gerade angefangen, das Autoencoder- Paket in R zu verwenden. Eingaben in die autoencode()Funktion umfassen Lambda, Beta, Rho und Epsilon. Was sind die Grenzen für diese Werte? Variieren sie für jede Aktivierungsfunktion? Werden diese Parameter "Hyperparameter" genannt? Ist rho = .01 unter der Annahme eines spärlichen Autoencoders gut für …

8 neural-networks optimization deep-learning deep-belief-networks autoencoders

2

Warum ist der Autoencoder-Decoder normalerweise die umgekehrte Architektur als Encoder?

Jede Autoencoder-Architektur, die ich gesehen habe, hat eine ähnliche Architektur, hauptsächlich, dass der Decoder genau das Gegenteil des Encoders ist. Wenn das Ziel des Autoencoders das Lernen von niedrigdimensionalen Merkmalen ist, warum ist der Decoder nicht einfach? Ein Beispiel wäre eine lineare Transformation wobei eine Beobachtung durch die Merkmalsmatrix (dh …

7 neural-networks dimensionality-reduction autoencoders

2

Bewahren Autoencoder Entfernungen auf?

Nach meinem Verständnis werden Autoencoder verwendet, um eine kompakte Darstellung von Eingabefunktionen zu finden, die die wesentlichen zugrunde liegenden Informationen enthält. Gibt es eine Beziehung zwischen den L2-Abständen im ursprünglichen Eingaberaum und dem reduzierten (kompakten) Raum? Wenn nicht, kann ich das Netzwerk so trainieren, dass die kompakte Darstellung nach der …

7 neural-networks dimensionality-reduction distance autoencoders

1

Reduzierung der nichtlinearen Dimensionalität: geometrische / topologische Algorithmen im Vergleich zu Autoencodern

Soweit ich weiß, gibt es drei Hauptansätze zur Reduzierung der nichtlinearen Dimensionalität: Vielfältiges Lernen (geometrische / topologische Algorithmen wie ISOMAP, LLE, LTSA) Autoencoder Dinge, die nicht in die ersten beiden Kategorien passen (wahrscheinlichkeitsinspiriertes t-SNE, Kernel-PCA usw.) Was sind die Vor- und Nachteile der ersten beiden Ansätze? Kann man denken, dass …

7 machine-learning deep-learning dimensionality-reduction autoencoders manifold-learning

Als «autoencoders» getaggte Fragen