Richtige Methode zur Verwendung eines wiederkehrenden neuronalen Netzwerks für die Zeitreihenanalyse

Rekurrente neuronale Netze unterscheiden sich von "regulären" dadurch, dass sie eine "Gedächtnis" -Schicht haben. Aufgrund dieser Schicht sollten wiederkehrende NNs bei der Zeitreihenmodellierung nützlich sein. Ich bin mir jedoch nicht sicher, ob ich richtig verstehe, wie man sie benutzt.

Angenommen, ich habe die folgenden Zeitreihen (von links nach rechts): [0, 1, 2, 3, 4, 5, 6, 7]Mein Ziel ist es, den i-ten Punkt unter Verwendung von Punkten i-1und i-2als Eingabe (für jede i>2) vorherzusagen . In einer "regulären", einmaligen ANN würde ich die Daten folgendermaßen verarbeiten:

 target| input
      2| 1 0
      3| 2 1
      4| 3 2
      5| 4 3
      6| 5 4
      7| 6 5 

Ich würde dann ein Netz mit zwei Eingangs- und einem Ausgangsknoten erstellen und es mit den obigen Daten trainieren.

Wie muss man diesen Prozess (wenn überhaupt) bei wiederkehrenden Netzwerken ändern?

Was Sie beschreiben, ist in der Tat ein "Gleitzeitfenster" -Ansatz und unterscheidet sich von wiederkehrenden Netzwerken. Sie können diese Technik mit jedem Regressionsalgorithmus verwenden. Dieser Ansatz unterliegt einer enormen Einschränkung: Ereignisse in den Eingängen können nur mit anderen Ein- / Ausgängen korreliert werden, die höchstens t Zeitschritte voneinander entfernt sind, wobei t die Größe des Fensters ist.

Man kann sich zB eine Markov-Ordnungskette t vorstellen. RNNs leiden theoretisch nicht darunter, aber in der Praxis ist das Lernen schwierig.

Es ist am besten, eine RNN im Gegensatz zu einem Feedfoward-Netzwerk zu veranschaulichen. Betrachten Sie das (sehr) einfache Feedforward-Netzwerk wobei die Ausgabe, die Wichtungsmatrix und die Eingabe ist.$y = Wx$$y$$W$$x$

Jetzt verwenden wir ein wiederkehrendes Netzwerk. Jetzt haben wir eine Folge von Eingaben, daher werden wir die Eingaben für die i-te Eingabe mit . Die entsprechende i-te Ausgabe wird dann über berechnet .$x^{i}$$y^{i} = Wx^i + W_ry^{i-1}$

Somit haben wir eine weitere Gewichtsmatrix die die Ausgabe im vorherigen Schritt linear in die aktuelle Ausgabe .$W_r$

Dies ist natürlich eine einfache Architektur. Am gebräuchlichsten ist eine Architektur, bei der Sie eine verborgene Ebene haben, die immer wieder mit sich selbst verbunden ist. Sei die verborgene Schicht im Zeitschritt i. Die Formeln lauten dann:$h^i$

Wobei eine geeignete Nichtlinearitäts- / Übertragungsfunktion wie das ist. und sind die Verbindungsgewichte zwischen der Eingabe- und der verborgenen und der verborgenen und der Ausgabeebene. repräsentiert die wiederkehrenden Gewichte.$\sigma$$W_1$$W_2$$W_r$

Hier ist ein Diagramm der Struktur:

Sie können auch einfach eine Reihe von Transformationen von Zeitreihen für die Eingabedaten verwenden. Nur für ein Beispiel könnten die Eingaben sein:

1. der letzte Intervallwert (7)
2. der nächstletzte Intervallwert (6)
3. das Delta zwischen dem jüngsten und dem nächst jüngeren (7-6 = 1)
4. der drittletzte Intervallwert (5)
5. das Delta zwischen dem zweit- und drittletzten (6-5 = 1)
6. der Durchschnitt der letzten drei Intervalle ((7 + 6 + 5) / 3 = 6)

Wenn Ihre Eingaben in ein herkömmliches neuronales Netzwerk diese sechs transformierten Daten wären, wäre es für einen gewöhnlichen Backpropagation-Algorithmus keine schwierige Aufgabe, das Muster zu lernen. Sie müssten jedoch die Transformationen codieren, die die Rohdaten aufnehmen und in die obigen 6 Eingaben für Ihr neuronales Netzwerk umwandeln.

Eine andere Möglichkeit sind historische konsistente neuronale Netze (HCNN) . Diese Architektur ist möglicherweise besser für den oben genannten Aufbau geeignet, da sie die häufig willkürliche Unterscheidung zwischen Eingabe- und Ausgabevariablen aufhebt und stattdessen versucht, die gesamte zugrunde liegende Dynamik des gesamten Systems durch Training mit allen Observablen zu replizieren.

Als ich für Siemens arbeitete, veröffentlichte ich einen Artikel über diese Architektur in einem Buch des Springer Verlags: Zimmermann, Grothmann, Tietz, von Jouanne-Diedrich: Marktmodellierung, Prognose und Risikoanalyse mit historisch konsistenten neuronalen Netzen

Nur um eine Idee über das Paradigma zu geben, hier ein kurzer Auszug:

In diesem Artikel stellen wir einen neuen Typ von wiederkehrendem NN vor, der als historisches konsistentes neuronales Netzwerk (HCNN) bezeichnet wird. HCNNs ermöglichen die Modellierung stark wechselwirkender nichtlinearer dynamischer Systeme auf mehreren Zeitskalen. HCNNs unterscheiden nicht zwischen Ein- und Ausgängen, sondern modellieren Observablen, die in die Dynamik eines großen Zustandsraums eingebettet sind.

[...]

Das RNN wird verwendet, um ein offenes dynamisches System unter Verwendung eines nichtlinearen Regressionsansatzes zu modellieren und vorherzusagen. Viele reale technische und wirtschaftliche Anwendungen müssen jedoch im Kontext großer Systeme gesehen werden, in denen verschiedene (nichtlineare) Dynamiken zeitlich miteinander interagieren. Projiziert auf ein Modell bedeutet dies, dass wir nicht zwischen Ein- und Ausgängen unterscheiden, sondern von Observablen sprechen. Aufgrund der teilweisen Beobachtbarkeit großer Systeme benötigen wir versteckte Zustände, um die Dynamik der Observablen erklären zu können. Beobachtbare und versteckte Variablen sollten vom Modell auf die gleiche Weise behandelt werden. Der Begriff Observables umfasst die Eingangs- und Ausgangsvariablen (dh$Y_τ := (y_τ, u_τ)$). Wenn wir ein Modell implementieren können, in dem die Dynamik aller Observablen beschrieben werden kann, werden wir in der Lage sein, das offene System zu schließen.

... und aus dem Fazit:

Die gemeinsame Modellierung von versteckten und beobachteten Variablen in großen, wiederkehrenden neuronalen Netzen bietet neue Perspektiven für Planung und Risikomanagement. Der auf HCNN basierende Ensemble-Ansatz bietet einen alternativen Ansatz zur Vorhersage zukünftiger Wahrscheinlichkeitsverteilungen. HCNNs geben eine perfekte Beschreibung der Dynamik der Observablen in der Vergangenheit. Die teilweise Beobachtbarkeit der Welt führt jedoch zu einer nicht eindeutigen Rekonstruktion der versteckten Variablen und damit zu unterschiedlichen Zukunftsszenarien. Da die tatsächliche Entwicklung der Dynamik unbekannt ist und alle Pfade die gleiche Wahrscheinlichkeit haben, kann der Durchschnitt des Ensembles als die beste Prognose angesehen werden, während die Bandbreite der Verteilung das Marktrisiko beschreibt. Heute, Wir verwenden HCNN-Prognosen, um die Preise für Energie und Edelmetalle vorherzusagen und den Zeitpunkt für Beschaffungsentscheidungen zu optimieren. Die derzeit laufenden Arbeiten befassen sich mit der Analyse der Eigenschaften des Ensembles und der Umsetzung dieser Konzepte in praktisches Risikomanagement und Finanzmarktanwendungen.

Teile des Papiers können öffentlich eingesehen werden: Hier