Statistiken und Big Data lstm

4

Wie verhindert LSTM das Problem des Fluchtgradienten?

LSTM wurde speziell erfunden, um das Problem des verschwindenden Gradienten zu vermeiden. Dies soll mit dem Constant Error Carousel (CEC) geschehen, das in der folgenden Abbildung (von Greff et al. ) Der Schleife um die Zelle entspricht . (Quelle: deeplearning4j.org ) Und ich verstehe, dass dieser Teil als eine Art …

35 neural-networks lstm

5

Grundlegendes zu LSTM-Einheiten im Vergleich zu Zellen

Ich habe LSTMs für eine Weile studiert. Ich verstehe auf hohem Niveau, wie alles funktioniert. Als ich sie jedoch mit Tensorflow implementieren wollte, bemerkte ich, dass BasicLSTMCell eine Reihe von Einheiten (dh num_units) benötigt. Aus dieser sehr gründlichen Erklärung von LSTMs habe ich herausgefunden, dass eine einzelne LSTM-Einheit eine der …

32 neural-networks terminology lstm rnn tensorflow

1

Der Trainingsverlust steigt und fällt. Was ist los?

Mein Trainingsverlust geht runter und dann wieder rauf. Es ist sehr komisch. Der Kreuzvalidierungsverlust verfolgt den Trainingsverlust. Was ist los? Ich habe zwei gestapelte LSTMS wie folgt (auf Keras): model = Sequential() model.add(LSTM(512, return_sequences=True, input_shape=(len(X[0]), len(nd.char_indices)))) model.add(Dropout(0.2)) model.add(LSTM(512, return_sequences=False)) model.add(Dropout(0.2)) model.add(Dense(len(nd.categories))) model.add(Activation('sigmoid')) model.compile(loss='binary_crossentropy', optimizer='adadelta') Ich trainiere es für 100 Epochen: …

26 machine-learning neural-networks loss-functions lstm

3

Was sind die Vorteile des Stapelns mehrerer LSTMs?

Was sind die Vorteile, warum sollte man mehrere nebeneinander gestapelte LSTMs in einem tiefen Netzwerk verwenden? Ich verwende einen LSTM, um eine Folge von Eingaben als eine einzige Eingabe darzustellen. Also, wenn ich diese einzige Darstellung habe - warum sollte ich sie noch einmal durchgehen? Ich frage dies, weil ich …

25 classification neural-networks deep-learning lstm rnn

1

Was genau sind Aufmerksamkeitsmechanismen?

In den letzten Jahren wurden in verschiedenen Deep-Learning-Artikeln Aufmerksamkeitsmechanismen eingesetzt. Ilya Sutskever, Forschungsleiter bei Open AI, hat sie begeistert gelobt: https://towardsdatascience.com/the-fall-of-rnn-lstm-2d1594c74ce0 Eugenio Culurciello von der Purdue University hat gefordert, dass RNNs und LSTMs zugunsten rein auf Aufmerksamkeit basierender neuronaler Netze aufgegeben werden sollten: https://towardsdatascience.com/the-fall-of-rnn-lstm-2d1594c74ce0 Dies scheint übertrieben, aber es ist …

23 time-series deep-learning lstm rnn attention

3

Grundlegendes zum input_shape-Parameter in LSTM mit Keras

Ich versuche das in der Keras-Dokumentation beschriebene Beispiel mit dem Namen "Stacked LSTM for Sequence Classification" (siehe Code unten) zu verwenden und kann den input_shapeParameter im Kontext meiner Daten nicht herausfinden . Ich habe als Eingabe eine Matrix von Sequenzen von 25 möglichen ganzen Zahlen in einem aufgefüllten Folge maximaler …

20 lstm keras shape dimensions

3

Warum werden die Gewichte von RNN / LSTM-Netzwerken über die Zeit hinweg geteilt?

Ich habe mich kürzlich für LSTMs interessiert und war überrascht zu erfahren, dass die Gewichte über die Zeit verteilt sind. Ich weiß, dass, wenn Sie die Gewichte über die Zeit teilen, Ihre Eingabezeitsequenzen eine variable Länge haben können. Mit geteilten Gewichten müssen Sie viel weniger Parameter trainieren. Nach meinem Verständnis …

20 machine-learning lstm rnn

4

Unterschied zwischen RNN und LSTM / GRU

Ich versuche, verschiedene RNN-Architekturen (Recurrent Neural Network) zu verstehen, die auf Zeitreihendaten angewendet werden sollen, und bin etwas verwirrt mit den verschiedenen Namen, die häufig bei der Beschreibung von RNNs verwendet werden. Ist die Struktur von Langzeitspeicher (LSTM) und Gated Recurrent Unit (GRU) im Wesentlichen ein RNN mit einer Rückkopplungsschleife?

19 neural-networks lstm rnn

2

Welche Optimierungsmethoden eignen sich am besten für LSTMs?

Ich habe theano zum Experimentieren mit LSTMs verwendet und mich gefragt, welche Optimierungsmethoden (SGD, Adagrad, Adadelta, RMSprop, Adam usw.) für LSTMs am besten funktionieren. Gibt es Forschungsarbeiten zu diesem Thema? Hängt die Antwort auch von der Art der Anwendung ab, für die ich das LSTM verwende? In diesem Fall verwende …

19 machine-learning neural-networks optimization lstm

3

Verwendung von RNN (LSTM) zur Vorhersage der Zeitreihenvektoren (Theano)

Ich habe ein sehr einfaches Problem, aber ich kann kein passendes Werkzeug finden, um es zu lösen. Ich habe eine Folge von Vektoren gleicher Länge. Jetzt möchte ich LSTM RNN auf dem Zugmuster dieser Sequenzen trainieren und es dann machen, um eine neue Sequenz von Vektoren der Länge basierend auf …

19 neural-networks python lstm

2

Unterschied zwischen Abtastwerten, Zeitschritten und Merkmalen im neuronalen Netz

Ich gehe den folgenden Blog im neuronalen LSTM-Netzwerk durch: http://machinelearningmastery.com/understanding-stateful-lstm-recurrent-neural-networks-python-keras/ Der Autor formt den Eingabevektor X als [Beispiele, Zeitschritte, Merkmale] für unterschiedliche Konfigurationen von LSTMs um. Der Autor schreibt In der Tat sind die Buchstabenfolgen Zeitschritte eines Merkmals und keine Zeitschritte einzelner Merkmale. Wir haben dem Netzwerk mehr Kontext gegeben, …

17 neural-networks lstm rnn tensorflow tensor

1

Was ist eine realisierbare Sequenzlänge für ein RNN zum Modellieren?

Ich möchte eine LSTM - Version ( Long Short Term Memory ) eines wiederkehrenden neuronalen Netzwerks (RNN) zur Modellierung von Zeitreihendaten verwenden. Mit zunehmender Sequenzlänge der Daten nimmt die Komplexität des Netzwerks zu. Ich bin deshalb neugierig, welche Länge von Sequenzen mit einer guten Genauigkeit modellierbar wäre. Ich möchte eine …

15 neural-networks deep-learning lstm

1

RNNs: Wann BPTT anwenden und / oder Gewichte aktualisieren?

Ich versuche, die Anwendung von RNNs auf hoher Ebene auf die Sequenzmarkierung über (unter anderem) Graves 'Artikel über die Phonemklassifizierung von 2005 zu verstehen . Um das Problem zusammenzufassen: Wir haben ein großes Trainingsset, das aus (Eingabe-) Audiodateien einzelner Sätze und (Ausgabe-) von Experten gekennzeichneten Startzeiten, Stoppzeiten und Beschriftungen für …

15 lstm rnn

1

Verhinderung einer Überanpassung von LSTM bei kleinen Datenmengen

Ich modelliere 15000 Tweets für die Stimmungsvorhersage unter Verwendung eines einschichtigen LSTM mit 128 verborgenen Einheiten unter Verwendung einer word2vec-ähnlichen Darstellung mit 80 Dimensionen. Nach 1 Epoche erhalte ich eine Abstiegsgenauigkeit (38% bei Zufall = 20%). Mehr Training führt dazu, dass die Validierungsgenauigkeit abnimmt, wenn die Trainingsgenauigkeit zu steigen beginnt …

13 deep-learning regularization overfitting lstm

1

So trainieren Sie die LSTM-Schicht des Deep-Network

Ich benutze ein LSTM- und Feed-Forward-Netzwerk, um Text zu klassifizieren. Ich konvertiere den Text in One-Hot-Vektoren und speise jeden in den lstm ein, damit ich ihn als eine einzige Darstellung zusammenfassen kann. Dann füttere ich es dem anderen Netzwerk. Aber wie trainiere ich das lstm? Ich möchte den Text nur …

13 classification neural-networks deep-learning lstm

Als «lstm» getaggte Fragen