Als «lstm» getaggte Fragen

Ein Long Short Term Memory (LSTM) ist eine neuronale Netzwerkarchitektur, die wiederkehrende NN-Blöcke enthält, die sich über einen beliebigen Zeitraum an einen Wert erinnern können.

2
Warum können RNNs mit LSTM-Einheiten auch unter explodierenden Gradienten leiden?
Ich habe Grundkenntnisse über die Funktionsweise von RNNs (und insbesondere von LSTMs). Ich habe eine bildliche Vorstellung von der Architektur einer LSTM-Einheit, dh einer Zelle und einiger Tore, die den Wertefluss regulieren. Anscheinend habe ich jedoch nicht vollständig verstanden, wie LSTM das Problem des "Verschwindens und Explodierens von Gradienten" löst, …
3
RNN für unregelmäßige Zeitintervalle?
RNNs eignen sich bemerkenswert gut zur Erfassung der Zeitabhängigkeit sequentieller Daten. Was passiert jedoch, wenn die Sequenzelemente nicht zeitlich gleich verteilt sind? Beispielsweise erfolgt die erste Eingabe in die LSTM-Zelle am Montag, dann keine Daten von Dienstag bis Donnerstag und schließlich neue Eingaben für jeden Freitag, Samstag, Sonntag. Eine Möglichkeit …
1
Wie trainiere ich das LSTM-Modell anhand mehrerer Zeitreihendaten?
Wie trainiere ich das LSTM-Modell anhand mehrerer Zeitreihendaten? Anwendungsfall: Ich habe in den letzten 5 Jahren einen wöchentlichen Umsatz von 20.000 Agenten. Sie müssen die bevorstehenden wöchentlichen Verkäufe für jeden Agenten prognostizieren. Muss ich einer Stapelverarbeitungstechnik folgen - jeweils einen Agenten nehmen, das LSTM-Modell trainieren und dann prognostizieren? Irgendwelche besseren …
2
Unterschied zwischen einem LSTM mit einer Einheit und einem neuronalen LSTM-Netzwerk mit drei Einheiten
Das LSTM im folgenden Keras-Code input_t = Input((4, 1)) output_t = LSTM(1)(input_t) model = Model(inputs=input_t, outputs=output_t) print(model.summary()) kann dargestellt werden als Ich verstehe, dass, wenn wir model.predict(np.array([[[1],[2],[3],[4]]]))die (einzige) LSTM-Einheit aufrufen , zuerst der Vektor [1], dann [2] plus die Rückmeldung von der vorherigen Eingabe usw. bis zum Vektor [4] verarbeitet …
2
Umgang mit unbekannten Wörtern in Sprachmodellierungsaufgaben mit LSTM
Für eine NLP-Aufgabe (Natural Language Processing) werden häufig word2vec-Vektoren als Einbettung für die Wörter verwendet. Es kann jedoch viele unbekannte Wörter geben, die nicht von den word2vec-Vektoren erfasst werden, einfach weil diese Wörter in den Trainingsdaten nicht oft genug gesehen werden (viele Implementierungen verwenden eine Mindestanzahl, bevor dem Wortschatz ein …
1
Der beste Weg, um den LSTM-Status zu initialisieren
Ich habe mich gefragt, wie der Status für LSTMs am besten initialisiert werden kann. Momentan initialisiere ich es einfach auf alle Nullen. Ich kann online nichts darüber finden, wie man es initialisiert. Eine Sache, an die ich gedacht habe, ist, den Ausgangszustand zu einem trainierbaren Parameter zu machen. Irgendein Rat?
3
LSTM-Zeitreihen mit gemischten Frequenzdaten
Ich möchte eine LSTM-RNN für die Vorhersage von Zeitreihen erstellen, aber einige meiner Prädiktoren sind monatlich und andere täglich. Irgendwelche Ratschläge / Beispiele zum Aufbau dieses Netzwerks? Die Häufigkeit der Vorhersagen ist monatlich. Vielen Dank.
10 time-series  lstm  rnn 
1
Grundlegendes zur LSTM-Topologie
Wie viele andere fand ich die Ressourcen hier und hier äußerst nützlich für das Verständnis von LSTM-Zellen. Ich bin zuversichtlich, dass ich verstehe, wie Werte fließen und aktualisiert werden, und ich bin zuversichtlich, dass ich auch die genannten "Gucklochverbindungen" usw. hinzufügen kann. In meinem Beispiel habe ich zu jedem Zeitpunkt …
1
Zeitreihenvorhersage mit ARIMA vs LSTM
Das Problem, mit dem ich mich befasse, ist die Vorhersage von Zeitreihenwerten. Ich betrachte jeweils eine Zeitreihe und möchte anhand von beispielsweise 15% der Eingabedaten die zukünftigen Werte vorhersagen. Bisher bin ich auf zwei Modelle gestoßen: LSTM (Langzeit-Kurzzeitgedächtnis; eine Klasse wiederkehrender neuronaler Netze) ARIMA Ich habe beide ausprobiert und einige …
2
Wie kann LSTM mehrere Zeitschritte voraussagen?
Ich versuche, ein LSTM für die Vorhersage von Zeitreihen zu verwenden. Die Daten werden einmal pro Minute übertragen, aber ich würde gerne eine Stunde voraussagen. Ich kann mir zwei Möglichkeiten vorstellen, dies zu tun: Zerdrücken Sie die Daten stattdessen in stündliche Daten, wobei Sie den Durchschnitt über jeden Zeitraum von …
9 time-series  lstm  rnn 
2
Was ist die Ausgabe eines tf.nn.dynamic_rnn ()?
Ich bin mir nicht sicher, was ich aus der offiziellen Dokumentation verstehe, in der es heißt: Rückgabe: Ein Paar (Ausgänge, Status) wobei: outputs: Der RNN-Ausgangstensor. Wenn time_major == False(Standard), ist dies eine Tensorform : [batch_size, max_time, cell.output_size]. Wenn time_major == Truedies ein Tensor ist : [max_time, batch_size, cell.output_size]. Wenn cell.output_sizees …
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.