Statistiken und Big Data rnn

2

Verstecktes Markov-Modell gegen wiederkehrendes neuronales Netzwerk

Welche sequentiellen Eingabeprobleme eignen sich jeweils am besten? Bestimmt die Eingabedimensionalität, welche besser zu Ihnen passt? Sind Probleme, die "längeren Speicher" erfordern, besser für ein LSTM-RNN geeignet, während Probleme mit zyklischen Eingabemustern (Börse, Wetter) von einem HMM leichter gelöst werden können? Es scheint, dass es viele Überschneidungen gibt; Ich bin …

11 time-series neural-networks hidden-markov-model rnn

2

Was ist die Intuition hinter einem wiederkehrenden neuronalen Netzwerk mit langem Kurzzeitgedächtnis (LSTM)?

Die Idee hinter Recurrent Neural Network (RNN) ist mir klar. Ich verstehe es folgendermaßen: Wir haben eine Folge von Beobachtungen ( Ö⃗ 1, o⃗ 2, … , O.⃗ no→1,o→2,…,o→n\vec o_1, \vec o_2, \dots, \vec o_n ) (oder mit anderen Worten multivariate Zeitreihen). Jede einzelne Beobachtung Ö⃗ icho→i\vec o_i ist ein …

11 time-series neural-networks predictive-models intuition rnn

3

Warum schwankt der Verlust / die Genauigkeit während des Trainings? (Keras, LSTM)

Ich benutze das LSTM-Netzwerk in Keras. Während des Trainings schwankt der Verlust stark und ich verstehe nicht, warum das passieren würde. Hier ist das NN, das ich ursprünglich verwendet habe: Und hier sind der Verlust und die Genauigkeit während des Trainings: (Beachten Sie, dass die Genauigkeit letztendlich tatsächlich 100% erreicht, …

11 lstm rnn keras

1

Welche Verlustfunktion sollte ich verwenden, um ein seq2seq RNN-Modell zu bewerten?

Ich arbeite an der Arbeit von Cho 2014 , in der die Encoder-Decoder-Architektur für die seq2seq-Modellierung vorgestellt wurde. In der Arbeit scheinen sie die Wahrscheinlichkeit der Ausgabe bei gegebener Eingabe (oder deren negative Log-Wahrscheinlichkeit) als Verlustfunktion für eine Eingabe der Länge und Ausgabe der Länge :xxxMMMyyyNNN P(y1,…,yN|x1,…,xM)=P(y1|x1,…,xm)P(y2|y1,x1,…,xm)…P(yN|y1,…,yN−1,x1,…,xm)P(y1,…,yN|x1,…,xM)=P(y1|x1,…,xm)P(y2|y1,x1,…,xm)…P(yN|y1,…,yN−1,x1,…,xm)P(y_1, …, y_N | …

10 deep-learning loss-functions rnn

1

RNN mit L2-Regularisierung hört auf zu lernen

Ich verwende Bidirectional RNN, um ein Ereignis mit unausgeglichenem Auftreten zu erkennen. Die positive Klasse ist 100-mal seltener als die negative Klasse. Obwohl keine Regularisierung verwendet wird, kann ich eine 100% ige Genauigkeit für das Zugset und 30% für das Validierungsset erhalten. Ich schalte die 12-Regularisierung ein und das Ergebnis …

10 neural-networks deep-learning regularization rnn

3

LSTM-Zeitreihen mit gemischten Frequenzdaten

Ich möchte eine LSTM-RNN für die Vorhersage von Zeitreihen erstellen, aber einige meiner Prädiktoren sind monatlich und andere täglich. Irgendwelche Ratschläge / Beispiele zum Aufbau dieses Netzwerks? Die Häufigkeit der Vorhersagen ist monatlich. Vielen Dank.

10 time-series lstm rnn

1

Grundlegendes zur LSTM-Topologie

Wie viele andere fand ich die Ressourcen hier und hier äußerst nützlich für das Verständnis von LSTM-Zellen. Ich bin zuversichtlich, dass ich verstehe, wie Werte fließen und aktualisiert werden, und ich bin zuversichtlich, dass ich auch die genannten "Gucklochverbindungen" usw. hinzufügen kann. In meinem Beispiel habe ich zu jedem Zeitpunkt …

9 machine-learning neural-networks lstm rnn

1

Wie viele Parameter befinden sich in einer RNN-Schicht (Gated Recurrent Unit)?

Der Titel sagt schon alles - wie viele trainierbare Parameter gibt es in einer GRU-Schicht? Diese Art von Frage taucht häufig auf, wenn versucht wird, Modelle verschiedener RNN-Schichttypen, wie z. B. LSTM-Einheiten (Long Short Term Memory), mit GRU hinsichtlich der Leistung pro Parameter zu vergleichen. Da eine größere Anzahl trainierbarer …

9 neural-networks rnn gru

2

Wie kann LSTM mehrere Zeitschritte voraussagen?

Ich versuche, ein LSTM für die Vorhersage von Zeitreihen zu verwenden. Die Daten werden einmal pro Minute übertragen, aber ich würde gerne eine Stunde voraussagen. Ich kann mir zwei Möglichkeiten vorstellen, dies zu tun: Zerdrücken Sie die Daten stattdessen in stündliche Daten, wobei Sie den Durchschnitt über jeden Zeitraum von …

9 time-series lstm rnn

2

Was ist die Ausgabe eines tf.nn.dynamic_rnn ()?

Ich bin mir nicht sicher, was ich aus der offiziellen Dokumentation verstehe, in der es heißt: Rückgabe: Ein Paar (Ausgänge, Status) wobei: outputs: Der RNN-Ausgangstensor. Wenn time_major == False(Standard), ist dies eine Tensorform : [batch_size, max_time, cell.output_size]. Wenn time_major == Truedies ein Tensor ist : [max_time, batch_size, cell.output_size]. Wenn cell.output_sizees …

8 deep-learning lstm tensorflow rnn gru

2

Identifizierbarkeit neuronaler Netzwerkmodelle

Es ist ziemlich intuitiv, dass die meisten Topologien / Architekturen neuronaler Netze nicht identifizierbar sind. Aber was sind einige bekannte Ergebnisse auf diesem Gebiet? Gibt es einfache Bedingungen, die eine Identifizierbarkeit ermöglichen / verhindern? Zum Beispiel, Alle Netzwerke mit nichtlinearen Aktivierungsfunktionen und mehr als einer verborgenen Schicht sind nicht identifizierbar …

8 neural-networks conv-neural-network rnn identifiability

1

RNN lernt Sinuswellen mit unterschiedlichen Frequenzen

Zum Aufwärmen mit wiederkehrenden neuronalen Netzen versuche ich, eine Sinuswelle von einer anderen Sinuswelle einer anderen Frequenz vorherzusagen. Mein Modell ist eine einfache RNN, deren Vorwärtsdurchlauf wie folgt ausgedrückt werden kann: wobeiσdie Sigmoïd-Funktion ist.rtzt=σ(Win⋅xt+Wrec⋅rt−1))=Wout⋅rtrt=σ(Win⋅xt+Wrec⋅rt−1))zt=Wout⋅rt \begin{aligned} r_t &= \sigma(W_{in} \cdot x_t + W_{rec} \cdot r_{t-1}))\\ z_t &= W_{out} \cdot r_t \end{aligned} …

8 regression time-series neural-networks deep-learning rnn

2

Was passiert, wenn wir einer LSTM-Ebene eine 2D-Matrix zuführen?

Angenommen, ich füge eine 2D-Formmatrix (99, 13) als Eingabe in eine LSTM-Ebene ein. Ich habe n Dateien, wobei jede (99,13) Größenvektoren enthält. Ich habe beschlossen, 13 als Anzahl der Features und 99 als Zeitschritte zu betrachten. (Während der Implementierung mit Keras habe ich die LSTM-Ebene als erste Ebene hinzugefügt. Und …

8 machine-learning lstm rnn

2

Warum LSTM beim Informations-Latching schlechter abschneidet als das Vanilla-Netzwerk für wiederkehrende Neuronen

Ich möchte besser verstehen, warum sich LSTM über einen längeren Zeitraum an Informationen erinnern kann als Vanille / einfaches wiederkehrendes neuronales Netzwerk (SRNN), indem ich ein Experiment aus dem Artikel Lernen von Langzeitabhängigkeiten mit Gradientenabstieg von Bengio et al. 1994 . Siehe Abb. 1. und 2 auf diesem Papier. Die …

8 neural-networks lstm tensorflow rnn keras

2

Wie extrahiere ich mithilfe von maschinellem Lernen bestimmte Informationen aus Text?

Angenommen, ich habe einen Text wie den folgenden, der normalerweise 2/3 Sätze und 100-200 Zeichen enthält. Johny kaufte 50 Dollar Milch von Walmart. Jetzt hat er nur noch 20 Dollar übrig. Ich möchte extrahieren Name der Person: Johny Verbrauchte: 50 Dollar Geld übrig: 20 Dollar. Verbrachte wo: Walmart. Ich habe …

7 machine-learning deep-learning data-mining text-mining rnn

Als «rnn» getaggte Fragen