Statistiken und Big Data deep-learning

1

Was ist die „Kapazität“ eines maschinellen Lernmodells?

Ich studiere dieses Tutorial über Variations-Autoencoder von Carl Doersch . Auf der zweiten Seite heißt es: Eines der beliebtesten Frameworks dieser Art ist der Variational Autoencoder [1, 3], der Gegenstand dieses Tutorials ist. Die Annahmen dieses Modells sind schwach und das Training erfolgt schnell über Backpropagation. VAEs machen eine Annäherung, …

15 machine-learning deep-learning autoencoders variational-bayes

2

Erklärung der Spitzen bei Trainingsverlust im Vergleich zu Iterationen mit Adam Optimizer

Ich trainiere ein neuronales Netzwerk mit i) SGD und ii) Adam Optimizer. Bei Verwendung von normalem SGD erhalte ich eine glatte Kurve zwischen Trainingsverlust und Iteration (siehe unten) (die rote). Wenn ich jedoch den Adam Optimizer verwendet habe, weist die Trainingsverlustkurve einige Spitzen auf. Was ist die Erklärung für diese …

15 neural-networks deep-learning adam

1

Warum verwenden wir nicht konstante Lernraten für anständige Gradienten für andere Dinge als neuronale Netze?

Deep-Learning-Literatur steckt voller cleverer Tricks bei der Verwendung nicht konstanter Lernraten beim Gradientenabstieg. Dinge wie Exponential Decay, RMSprop, Adagrad usw. sind einfach zu implementieren und in jedem Deep-Learning-Paket verfügbar, scheinen jedoch außerhalb neuronaler Netze nicht zu existieren. Gibt es einen Grund dafür? Wenn es den Menschen einfach egal ist, gibt …

14 machine-learning deep-learning optimization gradient-descent

3

Tiefe neuronale Netze - Nur zur Bildklassifizierung?

Alle Beispiele, die ich mit Deep-Believe- oder Faltungs-Neuronalen Netzen gefunden habe, verwenden sie zur Bildklassifizierung, zur Erkennung von Chat-Zeichen oder zur Spracherkennung. Sind tiefe neuronale Netze auch für klassische Regressionsaufgaben nützlich, bei denen die Merkmale nicht strukturiert sind (z. B. nicht in einer Sequenz oder einem Gitter angeordnet sind)? Wenn …

14 regression machine-learning neural-networks deep-learning

1

Gibt es einen Unterschied zwischen dem Training eines gestapelten Autoencoders und einem neuronalen Netzwerk mit zwei Schichten?

Angenommen, ich schreibe einen Algorithmus zum Aufbau eines gestapelten 2-Schichten-Autoencodierers und eines neuronalen 2-Schichten-Netzwerks. Sind sie die gleichen Dinge oder der Unterschied? Ich verstehe, dass ich beim Erstellen eines gestapelten Autoencoders Schicht für Schicht erstellen würde. Für ein neuronales Netzwerk initialisiere ich alle Parameter im Netzwerk und leite sie dann …

14 neural-networks deep-learning autoencoders

4

Wie viele Daten benötigen Sie für ein Faltungsnetzwerk?

Wenn ich ein Convolutional Neural Network (CNN) mit etwa 1.000.000 Parametern habe, wie viele Trainingsdaten werden benötigt (vorausgesetzt, ich mache einen stochastischen Gradientenabstieg)? Gibt es eine Faustregel? Zusätzliche Hinweise: Wenn ich einen stochastischen Gradientenabstieg durchgeführt habe (z. B. 64 Patches für 1 Iteration), kann die Genauigkeit des Klassifikators nach ~ …

14 machine-learning neural-networks deep-learning conv-neural-network

2

Was ist Bayesian Deep Learning?

Was ist Bayesian Deep Learning und in welcher Beziehung steht es zur traditionellen Bayesianischen Statistik und zum traditionellen Deep Learning? Was sind die wichtigsten Konzepte und Mathematik? Kann ich sagen, dass es sich nur um nicht parametrische Bayes-Statistiken handelt? Was sind seine wegweisenden Arbeiten sowie seine aktuellen Hauptentwicklungen und -anwendungen? …

13 bayesian deep-learning

1

Warum ist intensives Lernen nicht stabil?

In DeepMinds 2015 veröffentlichtem Artikel über vertieftes Lernen heißt es, dass "frühere Versuche, RL mit neuronalen Netzen zu kombinieren, größtenteils aufgrund von instabilem Lernen gescheitert waren". Der Aufsatz listet dann einige Ursachen auf, die auf Korrelationen zwischen den Beobachtungen beruhen. Könnte mir bitte jemand erklären, was das bedeutet? Handelt es …

13 machine-learning neural-networks deep-learning reinforcement-learning

2

Warum lassen sich neuronale Netze leicht täuschen?

Ich habe einige Artikel über das manuelle Ausdenken von Bildern gelesen, um ein neuronales Netzwerk zu "täuschen" (siehe unten). Liegt das daran, dass die Netzwerke nur die bedingte Wahrscheinlichkeit modellieren ? Wenn ein Netzwerk die gemeinsame Wahrscheinlichkeit p ( y , x ) modellieren kann , treten solche Fälle dann …

13 machine-learning neural-networks deep-learning

1

Was bedeutet End-to-End in Deep-Learning-Methoden?

Ich möchte wissen, was es ist und wie es sich vom Ensemble unterscheidet. Angenommen, ich möchte für eine bestimmte Aufgabe eine hohe Genauigkeit bei der Klassifizierung und Segmentierung erzielen. Wenn ich dazu verschiedene Netzwerke wie CNN, RNN usw. verwende, wird dies als End-to-End-Modell bezeichnet. (Architektur?) oder nicht?

13 machine-learning terminology deep-learning

1

Was sind einige nützliche Datenerweiterungstechniken für tiefe Faltungs-Neuronale Netze?

Hintergrund: Ich habe kürzlich auf einer tieferen Ebene die Wichtigkeit der Datenerweiterung beim Training von neuronalen Faltungsnetzen verstanden, nachdem ich diesen ausgezeichneten Vortrag von Geoffrey Hinton gesehen habe . Er erklärt, dass Faltungsneuralnetze der aktuellen Generation den Bezugsrahmen des zu testenden Objekts nicht verallgemeinern können, was es einem Netzwerk erschwert, …

13 machine-learning deep-learning

1

Verhinderung einer Überanpassung von LSTM bei kleinen Datenmengen

Ich modelliere 15000 Tweets für die Stimmungsvorhersage unter Verwendung eines einschichtigen LSTM mit 128 verborgenen Einheiten unter Verwendung einer word2vec-ähnlichen Darstellung mit 80 Dimensionen. Nach 1 Epoche erhalte ich eine Abstiegsgenauigkeit (38% bei Zufall = 20%). Mehr Training führt dazu, dass die Validierungsgenauigkeit abnimmt, wenn die Trainingsgenauigkeit zu steigen beginnt …

13 deep-learning regularization overfitting lstm

1

So trainieren Sie die LSTM-Schicht des Deep-Network

Ich benutze ein LSTM- und Feed-Forward-Netzwerk, um Text zu klassifizieren. Ich konvertiere den Text in One-Hot-Vektoren und speise jeden in den lstm ein, damit ich ihn als eine einzige Darstellung zusammenfassen kann. Dann füttere ich es dem anderen Netzwerk. Aber wie trainiere ich das lstm? Ich möchte den Text nur …

13 classification neural-networks deep-learning lstm

3

Wie genau verwenden Faltungsneuralnetze die Faltung anstelle der Matrixmultiplikation?

Ich habe Yoshua Bengios Buch über tiefes Lernen gelesen und auf Seite 224 steht: Faltungsnetzwerke sind einfach neuronale Netzwerke, die Faltung anstelle der allgemeinen Matrixmultiplikation in mindestens einer ihrer Schichten verwenden. Ich war mir jedoch nicht hundertprozentig sicher, wie man "Matrixmultiplikation durch Faltung ersetzen" kann. Was mich wirklich interessiert, ist, …

13 machine-learning neural-networks deep-learning convolution

1

Warum wird in der Praxis der Abstiegsalgorithmus „Saddle-Free Newton“ nicht verwendet?

Kürzlich habe ich einen Artikel von Yann Dauphin et al. Identifizierung und Angriff auf das Sattelpunktproblem bei der hochdimensionalen nichtkonvexen Optimierung , bei der ein interessanter Abstiegsalgorithmus namens " Sattelfreies Newton" eingeführt wird , der genau auf die Optimierung des neuronalen Netzwerks zugeschnitten zu sein scheint und nicht daran zu …

13 optimization deep-learning gradient-descent

Als «deep-learning» getaggte Fragen