Statistiken und Big Data rnn

3

Was ist der Unterschied zwischen Feed-Forward- und rekurrenten neuronalen Netzen?

Was ist der Unterschied zwischen einem Feed-Forward- und einem rekurrenten neuronalen Netzwerk? Warum würden Sie eine übereinander verwenden? Gibt es andere Netzwerktopologien?

58 machine-learning neural-networks terminology rnn topologies

5

Grundlegendes zu LSTM-Einheiten im Vergleich zu Zellen

Ich habe LSTMs für eine Weile studiert. Ich verstehe auf hohem Niveau, wie alles funktioniert. Als ich sie jedoch mit Tensorflow implementieren wollte, bemerkte ich, dass BasicLSTMCell eine Reihe von Einheiten (dh num_units) benötigt. Aus dieser sehr gründlichen Erklärung von LSTMs habe ich herausgefunden, dass eine einzelne LSTM-Einheit eine der …

32 neural-networks terminology lstm rnn tensorflow

2

Bedeutung (und Beweis) von "RNN kann jeden Algorithmus approximieren"

Kürzlich habe ich gelesen, dass ein wiederkehrendes neuronales Netzwerk jeden Algorithmus approximieren kann. Meine Frage lautet also: Was bedeutet das genau und können Sie mir einen Hinweis geben, wo dies bewiesen ist?

28 references rnn

3

Was sind die Vorteile des Stapelns mehrerer LSTMs?

Was sind die Vorteile, warum sollte man mehrere nebeneinander gestapelte LSTMs in einem tiefen Netzwerk verwenden? Ich verwende einen LSTM, um eine Folge von Eingaben als eine einzige Eingabe darzustellen. Also, wenn ich diese einzige Darstellung habe - warum sollte ich sie noch einmal durchgehen? Ich frage dies, weil ich …

25 classification neural-networks deep-learning lstm rnn

1

Was genau sind Aufmerksamkeitsmechanismen?

In den letzten Jahren wurden in verschiedenen Deep-Learning-Artikeln Aufmerksamkeitsmechanismen eingesetzt. Ilya Sutskever, Forschungsleiter bei Open AI, hat sie begeistert gelobt: https://towardsdatascience.com/the-fall-of-rnn-lstm-2d1594c74ce0 Eugenio Culurciello von der Purdue University hat gefordert, dass RNNs und LSTMs zugunsten rein auf Aufmerksamkeit basierender neuronaler Netze aufgegeben werden sollten: https://towardsdatascience.com/the-fall-of-rnn-lstm-2d1594c74ce0 Dies scheint übertrieben, aber es ist …

23 time-series deep-learning lstm rnn attention

3

Trainingsverlust steigt mit der Zeit

Diese Frage hat hier bereits Antworten : Wie kann eine Änderung der Kostenfunktion positiv sein? (1 Antwort) Was soll ich tun, wenn mein neuronales Netzwerk nicht lernt? (5 Antworten) Geschlossen im letzten Monat . Ich trainiere ein Modell (Recurrent Neural Network), um 4 Arten von Sequenzen zu klassifizieren. Während ich …

21 machine-learning neural-networks loss-functions rnn training-error

3

Warum werden die Gewichte von RNN / LSTM-Netzwerken über die Zeit hinweg geteilt?

Ich habe mich kürzlich für LSTMs interessiert und war überrascht zu erfahren, dass die Gewichte über die Zeit verteilt sind. Ich weiß, dass, wenn Sie die Gewichte über die Zeit teilen, Ihre Eingabezeitsequenzen eine variable Länge haben können. Mit geteilten Gewichten müssen Sie viel weniger Parameter trainieren. Nach meinem Verständnis …

20 machine-learning lstm rnn

4

Unterschied zwischen RNN und LSTM / GRU

Ich versuche, verschiedene RNN-Architekturen (Recurrent Neural Network) zu verstehen, die auf Zeitreihendaten angewendet werden sollen, und bin etwas verwirrt mit den verschiedenen Namen, die häufig bei der Beschreibung von RNNs verwendet werden. Ist die Struktur von Langzeitspeicher (LSTM) und Gated Recurrent Unit (GRU) im Wesentlichen ein RNN mit einer Rückkopplungsschleife?

19 neural-networks lstm rnn

2

Wie können wiederkehrende neuronale Netze zur Sequenzklassifizierung verwendet werden?

RNN kann zur Vorhersage oder Sequenz-zu-Sequenz-Zuordnung verwendet werden. Aber wie kann RNN zur Klassifizierung verwendet werden? Ich meine, wir geben einer ganzen Sequenz ein Etikett.

19 machine-learning neural-networks rnn

2

Unterschied zwischen Abtastwerten, Zeitschritten und Merkmalen im neuronalen Netz

Ich gehe den folgenden Blog im neuronalen LSTM-Netzwerk durch: http://machinelearningmastery.com/understanding-stateful-lstm-recurrent-neural-networks-python-keras/ Der Autor formt den Eingabevektor X als [Beispiele, Zeitschritte, Merkmale] für unterschiedliche Konfigurationen von LSTMs um. Der Autor schreibt In der Tat sind die Buchstabenfolgen Zeitschritte eines Merkmals und keine Zeitschritte einzelner Merkmale. Wir haben dem Netzwerk mehr Kontext gegeben, …

17 neural-networks lstm rnn tensorflow tensor

1

Was ist die Connectionist Temporal Classification (CTC)?

Ich möchte ein Projekt zur optischen Zeichenerkennung (OCR) durchführen. Nach einigen Recherchen bin ich auf eine Architektur gestoßen, die interessant erscheint: CNN + RNN + CTC. Ich bin mit verschachtelten neuronalen Netzen (CNN) und wiederkehrenden neuronalen Netzen (RNN) vertraut, aber was ist Connectionist Temporal Classification (CTC)? Ich hätte gerne eine …

15 machine-learning deep-learning conv-neural-network rnn

1

RNNs: Wann BPTT anwenden und / oder Gewichte aktualisieren?

Ich versuche, die Anwendung von RNNs auf hoher Ebene auf die Sequenzmarkierung über (unter anderem) Graves 'Artikel über die Phonemklassifizierung von 2005 zu verstehen . Um das Problem zusammenzufassen: Wir haben ein großes Trainingsset, das aus (Eingabe-) Audiodateien einzelner Sätze und (Ausgabe-) von Experten gekennzeichneten Startzeiten, Stoppzeiten und Beschriftungen für …

15 lstm rnn

3

Warum sich in einem RNN zurück durch die Zeit ausbreiten?

In einem wiederkehrenden neuronalen Netzwerk würden Sie normalerweise die Weiterleitung über mehrere Zeitschritte durchführen, das Netzwerk "ausrollen" und dann die Weiterleitung über die Folge von Eingaben zurückführen. Warum sollten Sie nicht einfach die Gewichte nach jedem einzelnen Schritt in der Sequenz aktualisieren? (Das entspricht einer Trunkierungslänge von 1, es gibt …

14 time-series neural-networks backpropagation rnn

2

Warum können RNNs mit LSTM-Einheiten auch unter explodierenden Gradienten leiden?

Ich habe Grundkenntnisse über die Funktionsweise von RNNs (und insbesondere von LSTMs). Ich habe eine bildliche Vorstellung von der Architektur einer LSTM-Einheit, dh einer Zelle und einiger Tore, die den Wertefluss regulieren. Anscheinend habe ich jedoch nicht vollständig verstanden, wie LSTM das Problem des "Verschwindens und Explodierens von Gradienten" löst, …

13 neural-networks lstm rnn backpropagation

3

RNN für unregelmäßige Zeitintervalle?

RNNs eignen sich bemerkenswert gut zur Erfassung der Zeitabhängigkeit sequentieller Daten. Was passiert jedoch, wenn die Sequenzelemente nicht zeitlich gleich verteilt sind? Beispielsweise erfolgt die erste Eingabe in die LSTM-Zelle am Montag, dann keine Daten von Dienstag bis Donnerstag und schließlich neue Eingaben für jeden Freitag, Samstag, Sonntag. Eine Möglichkeit …

13 machine-learning neural-networks lstm rnn unevenly-spaced-time-series

Als «rnn» getaggte Fragen