Statistiken und Big Data deep-learning

3

Was sind die Vorteile des Stapelns mehrerer LSTMs?

Was sind die Vorteile, warum sollte man mehrere nebeneinander gestapelte LSTMs in einem tiefen Netzwerk verwenden? Ich verwende einen LSTM, um eine Folge von Eingaben als eine einzige Eingabe darzustellen. Also, wenn ich diese einzige Darstellung habe - warum sollte ich sie noch einmal durchgehen? Ich frage dies, weil ich …

25 classification neural-networks deep-learning lstm rnn

1

Warum werden gleichgerichtete Lineareinheiten als nichtlinear betrachtet?

Warum werden Aktivierungsfunktionen von gleichgerichteten Lineareinheiten (ReLU) als nicht linear betrachtet? f( x ) = max ( 0 , x )f(x)=max(0,x) f(x) = \max(0,x) Sie sind linear, wenn der Eingang positiv ist, und nach meinem Verständnis sind nichtlineare Aktivierungen ein Muss, um die repräsentative Kraft tiefer Netzwerke freizuschalten. Andernfalls könnte …

25 neural-networks deep-learning

1

Was sind Autoencoder für Variationen und für welche Lernaufgaben werden sie verwendet?

Gemäß dieser und dieser Antwort, scheinen Autoencoder eine Technik zu sein , das neuronale Netze für Dimensionsreduktion verwendet. Ich möchte zusätzlich wissen , was ist ein Variationsautoencoder (seine wichtigsten Unterschiede / Vorteile gegenüber einem „traditionellen“ Autoencoder) und auch das, was die wichtigsten Lernaufgaben sind diese Algorithmen für verwendet werden.

24 machine-learning bayesian deep-learning autoencoders variational-bayes

3

Was ist der Grund, warum der Adam Optimizer für den Wert seiner Hyperparameter als robust angesehen wird?

Ich habe über den Adam-Optimierer für Deep Learning gelesen und bin in dem neuen Buch Deep Learning von Bengio, Goodfellow und Courville auf folgenden Satz gestoßen: Adam wird allgemein als ziemlich robust gegenüber der Auswahl von Hyperparametern angesehen, obwohl die Lernrate manchmal von der vorgeschlagenen Standardeinstellung geändert werden muss. Wenn …

24 neural-networks deep-learning optimization hyperparameter adam

2

Wie bekommt Krizhevskys '12 CNN 253.440 Neuronen in der ersten Schicht?

In Alex Krizhevsky et al. Imagenet-Klassifikation mit tiefen neuronalen Faltungsnetzen zählt sie die Anzahl der Neuronen in jeder Schicht auf (siehe Abbildung unten). Die Eingabe des Netzwerks ist 150.528-dimensional und die Anzahl der Neuronen in den verbleibenden Schichten des Netzwerks wird durch 253.440–186.624–64.896–64.896–43.264– 4096–4096–1000 angegeben. Eine 3D-Ansicht Die Anzahl der …

24 neural-networks deep-learning conv-neural-network

2

Wie initialisiere ich die Elemente der Filtermatrix?

Ich versuche, Faltungs-Neuronale Netze besser zu verstehen, indem ich Python-Code schreibe, der nicht von Bibliotheken (wie Convnet oder TensorFlow) abhängt Durchführen einer Faltung an einem Bild. Ich versuche, die Implementierungsdetails im Schritt zwischen Feature-Maps in der folgenden Abbildung zu verstehen, in der die Layer eines CNN dargestellt sind. Nach diesem …

24 machine-learning neural-networks deep-learning feature-construction conv-neural-network

3

Was ist die Architektur eines gestapelten Faltungsautocodierers?

Ich versuche also, Bilder von Menschen mit Faltungsnetzen zu trainieren. Ich habe die Papiere ( Paper1 und Paper2 ) und diesen Stackoverflow-Link gelesen , bin mir jedoch nicht sicher, ob ich die Struktur der Netze verstehe (in den Papieren ist dies nicht genau definiert). Fragen: Ich kann meine Eingabe gefolgt …

23 neural-networks deep-learning autoencoders deep-belief-networks

1

Was genau sind Aufmerksamkeitsmechanismen?

In den letzten Jahren wurden in verschiedenen Deep-Learning-Artikeln Aufmerksamkeitsmechanismen eingesetzt. Ilya Sutskever, Forschungsleiter bei Open AI, hat sie begeistert gelobt: https://towardsdatascience.com/the-fall-of-rnn-lstm-2d1594c74ce0 Eugenio Culurciello von der Purdue University hat gefordert, dass RNNs und LSTMs zugunsten rein auf Aufmerksamkeit basierender neuronaler Netze aufgegeben werden sollten: https://towardsdatascience.com/the-fall-of-rnn-lstm-2d1594c74ce0 Dies scheint übertrieben, aber es ist …

23 time-series deep-learning lstm rnn attention

2

Regeln zur Auswahl von Hyperparametern des neuronalen Faltungsnetzwerks

Gibt es gute Papiere, die einige methodische Methoden zum Auswählen der Dimensionen für Filter, zum Zusammenfassen der Einheiten und zum Bestimmen der Anzahl der Faltungsschichten beschreiben?

22 neural-networks deep-learning conv-neural-network

5

Wie wahr ist diese Folie über tiefes Lernen, in der behauptet wird, dass alle Verbesserungen aus den 1980er Jahren nur auf viel mehr Daten und viel schnelleren Computern beruhen?

Ich habe einem Vortrag zugehört und diese Folie gesehen: Wie wahr ist das?

22 deep-learning deep-belief-networks

3

Hat das Bildformat (png, jpg, gif) Einfluss darauf, wie ein neuronales Netz für die Bilderkennung trainiert wird?

Mir ist bewusst, dass es viele Fortschritte in Bezug auf Bilderkennung, Bildklassifizierung usw. bei tiefen, faltungsbedingten neuronalen Netzen gegeben hat. Aber wenn ich ein Netz beispielsweise mit PNG-Bildern trainiere, funktioniert dies nur für Bilder, die so codiert sind? Welche anderen Bildeigenschaften beeinflussen dies? (Alphakanal, Interlacing, Auflösung usw.?)

22 neural-networks deep-learning image-processing

2

Eingeschränkte Boltzmann-Maschine: Wie wird sie beim maschinellen Lernen eingesetzt?

Hintergrund: Ja, die eingeschränkte Boltzmann-Maschine (RBM) kann verwendet werden, um die Gewichte eines neuronalen Netzwerks zu initiieren. Außerdem KANN es "Schicht für Schicht" verwendet werden, um ein tiefes Glaubensnetzwerk aufzubauen (d. H. Eine te Schicht auf der ( n - 1 ) -ten Schicht zu trainieren und dann die zu …

21 machine-learning neural-networks deep-learning deep-belief-networks rbm

2

Stärkung neuronaler Netze

Vor kurzem habe ich mich mit dem Erlernen von Boosting-Algorithmen wie Adaboost und Gradienten-Boost befasst, und ich kenne die Tatsache, dass der am häufigsten verwendete schwache Lernende Bäume sind. Ich möchte wirklich wissen, ob es in letzter Zeit einige erfolgreiche Beispiele (ich meine einige Artikel oder Artikel) für die Verwendung …

21 neural-networks deep-learning boosting ensemble dropout

2

Wie funktionieren Engpassarchitekturen in neuronalen Netzwerken?

Wir definieren eine Engpassarchitektur als den Typ, der im ResNet-Artikel zu finden ist, in dem [zwei 3x3-Conv-Ebenen] durch [eine 1x1- Conv-Ebene , eine 3x3-Conv-Ebene und eine weitere 1x1-Conv-Ebene] ersetzt werden. Ich verstehe, dass die 1x1-Conv-Ebenen als eine Form der Dimensionsreduktion (und Wiederherstellung) verwendet werden, die in einem anderen Beitrag erläutert …

21 residuals deep-learning conv-neural-network

4

Warum ist die Softmax-Ausgabe kein gutes Unsicherheitsmaß für Deep Learning-Modelle?

Ich arbeite seit einiger Zeit mit Convolutional Neural Networks (CNNs), hauptsächlich mit Bilddaten für die semantische Segmentierung / Instanzsegmentierung. Ich habe mir den Softmax der Netzwerkausgabe oft als "Heatmap" vorgestellt, um zu sehen, wie hoch die Aktivierungen pro Pixel für eine bestimmte Klasse sind. Ich habe niedrige Aktivierungen als "unsicher" …

21 probability deep-learning conv-neural-network uncertainty softmax

Als «deep-learning» getaggte Fragen