Statistiken und Big Data backpropagation

2

Was ist der Vorteil der abgeschnittenen Normalverteilung beim Initialisieren von Gewichten in einem neuronalen Netzwerk?

Beim Initialisieren von Verbindungsgewichtungen in einem vorwärtsgerichteten neuronalen Netzwerk ist es wichtig, sie zufällig zu initialisieren, um Symmetrien zu vermeiden, die der Lernalgorithmus nicht unterbrechen könnte. Die Empfehlung, die ich an verschiedenen Stellen gesehen habe (z. B. in TensorFlows MNIST-Tutorial ), ist die Verwendung der abgeschnittenen Normalverteilung unter Verwendung einer …

13 neural-networks backpropagation weights truncated-normal

2

Warum können RNNs mit LSTM-Einheiten auch unter explodierenden Gradienten leiden?

Ich habe Grundkenntnisse über die Funktionsweise von RNNs (und insbesondere von LSTMs). Ich habe eine bildliche Vorstellung von der Architektur einer LSTM-Einheit, dh einer Zelle und einiger Tore, die den Wertefluss regulieren. Anscheinend habe ich jedoch nicht vollständig verstanden, wie LSTM das Problem des "Verschwindens und Explodierens von Gradienten" löst, …

13 neural-networks lstm rnn backpropagation

1

Matrixform der Rückausbreitung mit Chargennormalisierung

Der Batch-Normalisierung wurden erhebliche Leistungsverbesserungen in tiefen neuronalen Netzen zugeschrieben. Zahlreiches Material im Internet zeigt, wie es von Aktivierung zu Aktivierung umgesetzt werden kann. Ich habe Backprop bereits mithilfe der Matrixalgebra implementiert, und da ich in Hochsprachen arbeite (während ich mich auf Rcpp(und möglicherweise auch auf GPUs) für eine dichte …

12 machine-learning neural-networks deep-learning backpropagation batch-normalization

2

Erfassung von Anfangsmustern bei Verwendung der verkürzten Backpropagation durch die Zeit (RNN / LSTM)

Angenommen, ich verwende ein RNN / LSTM, um eine Stimmungsanalyse durchzuführen, bei der es sich um einen 1: 1-Ansatz handelt (siehe diesen Blog ). Das Netzwerk wird durch eine verkürzte Backpropagation Through Time (BPTT) trainiert, bei der das Netzwerk wie gewohnt nur für 30 letzte Schritte abgewickelt wird. In meinem …

12 neural-networks deep-learning natural-language backpropagation

2

Wie aktualisiert der Minibatch-Gradientenabstieg die Gewichte für jedes Beispiel in einem Stapel?

Wenn wir beispielsweise 10 Beispiele in einem Stapel verarbeiten, können wir meines Erachtens den Verlust für jedes Beispiel summieren. Wie funktioniert die Rückausbreitung in Bezug auf die Aktualisierung der Gewichte für jedes Beispiel? Beispielsweise: Beispiel 1 -> Verlust = 2 Beispiel 2 -> Verlust = -2 Dies führt zu einem …

11 neural-networks gradient-descent backpropagation tensorflow

1

Training eines neuronalen Faltungsnetzwerks

Ich arbeite derzeit an einer Gesichtserkennungssoftware, die Faltungs-Neuronale Netze verwendet, um Gesichter zu erkennen. Aufgrund meiner Messwerte habe ich festgestellt, dass ein neuronales Faltungsnetzwerk gemeinsame Gewichte hat, um Zeit während des Trainings zu sparen. Aber wie passt man die Backpropagation an, damit sie in einem neuronalen Faltungsnetzwerk verwendet werden kann? …

11 machine-learning neural-networks computer-vision backpropagation conv-neural-network

2

Wie trainiere ich eine SVM über Backpropagation?

Ich habe mich gefragt, ob es möglich ist, eine SVM (sagen wir eine lineare, um die Sache zu vereinfachen) mit Backpropagation zu trainieren. Derzeit bin ich an einer Straßensperre, weil ich nur daran denken kann, die Ausgabe des Klassifikators als zu schreiben f( x ; θ , b ) = …

10 machine-learning neural-networks svm gradient-descent backpropagation

2

Was ist Pretraining und wie trainiert man ein neuronales Netzwerk?

Ich verstehe, dass Pretraining verwendet wird, um einige Probleme beim konventionellen Training zu vermeiden. Wenn ich Backpropagation mit beispielsweise einem Autoencoder verwende, weiß ich, dass ich auf Zeitprobleme stoßen werde, weil die Backpropagation langsam ist und ich auch in lokalen Optima stecken bleiben und bestimmte Funktionen nicht lernen kann. Was …

10 machine-learning neural-networks backpropagation rbm pre-training

2

Wie kann man mit dem Backpropagation-Algorithmus Fehler im neuronalen Netzwerk ableiten?

Aus diesem Video von Andrew Ng gegen 5:00 Uhr Wie werden und abgeleitet? Was bedeutet eigentlich überhaupt? wird durch Vergleich mit y erhalten, ein solcher Vergleich ist für die Ausgabe einer verborgenen Ebene nicht möglich, oder?δ 2 δ 3 δ 4δ3δ3\delta_3δ2δ2\delta_2δ3δ3\delta_3δ4δ4\delta_4

10 machine-learning neural-networks backpropagation

1

Farbverläufe für das Skipgramm word2vec

Ich gehe die Probleme in den schriftlichen Aufgabenproblemen der Stanford NLP Deep Learning-Klasse durch http://cs224d.stanford.edu/assignment1/assignment1_soln Ich versuche die Antwort für 3a zu verstehen, wo sie nach der Ableitung zum Vektor für das Mittelwort suchen. Angenommen, Sie erhalten einen vorhergesagten Wortvektor , der dem Mittelwort c für das Sprunggramm entspricht, und …

9 self-study neural-networks backpropagation word2vec

2

RNN-Topologie (Recurrent Neural Network): Warum immer vollständig verbunden?

Ich habe angefangen, über wiederkehrende neuronale Netze (RNNs) und Langzeit-Kurzzeitgedächtnis (LSTM) zu lesen ... (... oh, nicht genug Wiederholungspunkte hier, um Referenzen aufzulisten ...) Eine Sache verstehe ich nicht: Es scheint immer, dass Neuronen in jeder Instanz einer verborgenen Schicht mit jedem Neuron in der vorherigen Instanz der verborgenen Schicht …

8 machine-learning neural-networks backpropagation

1

Wie und warum würden sich MLPs für die Klassifizierung von MLPs für die Regression unterscheiden? Unterschiedliche Backpropagation- und Übertragungsfunktionen?

Ich verwende zwei 3-Schicht-Feedforward-Mehrschicht-Perzeptrone (MLPs). Mit den gleichen Eingabedaten (14 Eingangsneuronen) mache ich eine Klassifizierung (wahr / falsch) und eine Regression (wenn wahr, "wie viel") ¹. Bis jetzt habe ich faul Matlabs Patternnet bzw. Fitnet verwendet. Faul, weil ich mir nicht die Zeit genommen habe, wirklich zu verstehen, was los …

8 regression machine-learning backpropagation

2

Klärung der Intuition hinter Backpropagation

Ich habe einige Zeit gebraucht, um zu versuchen, die Berechnungen und Mechanismen der Algorithmen für maschinelles Lernen zu verstehen, die ich in meinem täglichen Leben verwende. Wenn ich die Backpropagation-Literatur zum CS231n-Kurs studiere, möchte ich sicherstellen, dass ich die Kettenregel richtig verstanden habe, bevor ich mein Studium fortsetze. Angenommen, ich …

7 machine-learning intuition backpropagation

Als «backpropagation» getaggte Fragen