RNNs mit mehreren Funktionen

Ich verfüge über ein wenig Autodidakt-Wissen in der Arbeit mit Algorithmen des maschinellen Lernens (das grundlegende Material vom Typ Random Forest und Linear Regression). Ich beschloss, mich zu verzweigen und mit Keras RNNs zu lernen. Wenn ich mir die meisten Beispiele ansehe, bei denen es sich in der Regel um Bestandsvorhersagen handelt, konnte ich keine grundlegenden Beispiele für die Implementierung mehrerer Funktionen finden, mit Ausnahme von 1 Spalte als Funktionsdatum und der anderen als Ausgabe. Gibt es eine wichtige grundlegende Sache, die mir fehlt oder etwas?

Wenn jemand ein Beispiel hat, würde ich es sehr schätzen.

Vielen Dank!

Rekurrente neuronale Netze (RNNs) dienen zum Lernen von Sequenzdaten. Wie Sie sich denken, können sie definitiv mehrere Funktionen als Eingabe verwenden! Keras 'RNNs nehmen 2D-Eingaben ( T , F ) von Zeitschritten T und Features F auf (ich ignoriere die Batch-Dimension hier).

Sie müssen oder möchten jedoch nicht immer die Zwischenzeitschritte t = 1, 2 ... ( T - 1). Daher unterstützt Keras beide Modi flexibel. Um alle T Zeitschritte ausgeben zu lassen, übergeben return_sequences=TrueSie diese beim Bau an Ihre RNN (z. B. LSTModer GRU). Wenn Sie nur den letzten Zeitschritt t = T möchten , verwenden Sie return_sequences=False(dies ist die Standardeinstellung, wenn Sie nicht return_sequencesan den Konstruktor übergeben).

Nachfolgend finden Sie Beispiele für diese beiden Modi.

Beispiel 1: Lernen der Sequenz

Hier ist ein kurzes Beispiel für das Training eines LSTM (RNN-Typs), bei dem die gesamte Sequenz beibehalten wird. In diesem Beispiel hat jeder Eingangsdatenpunkt 2 Zeitschritte mit jeweils 3 Merkmalen. Die Ausgabedaten haben 2 Zeitschritte (weil return_sequences=True) mit jeweils 4 Datenpunkten (weil das die Größe ist, an die ich übergebe LSTM).

import keras.layers as L
import keras.models as M

import numpy

# The inputs to the model.
# We will create two data points, just for the example.
data_x = numpy.array([
    # Datapoint 1
    [
        # Input features at timestep 1
        [1, 2, 3],
        # Input features at timestep 2
        [4, 5, 6]
    ],
    # Datapoint 2
    [
        # Features at timestep 1
        [7, 8, 9],
        # Features at timestep 2
        [10, 11, 12]
    ]
])

# The desired model outputs.
# We will create two data points, just for the example.
data_y = numpy.array([
    # Datapoint 1
    [
        # Target features at timestep 1
        [101, 102, 103, 104],
        # Target features at timestep 2
        [105, 106, 107, 108]
    ],
    # Datapoint 2
    [
        # Target features at timestep 1
        [201, 202, 203, 204],
        # Target features at timestep 2
        [205, 206, 207, 208]
    ]
])

# Each input data point has 2 timesteps, each with 3 features.
# So the input shape (excluding batch_size) is (2, 3), which
# matches the shape of each data point in data_x above.
model_input = L.Input(shape=(2, 3))

# This RNN will return timesteps with 4 features each.
# Because return_sequences=True, it will output 2 timesteps, each
# with 4 features. So the output shape (excluding batch size) is
# (2, 4), which matches the shape of each data point in data_y above.
model_output = L.LSTM(4, return_sequences=True)(model_input)

# Create the model.
model = M.Model(input=model_input, output=model_output)

# You need to pick appropriate loss/optimizers for your problem.
# I'm just using these to make the example compile.
model.compile('sgd', 'mean_squared_error')

# Train
model.fit(data_x, data_y)

Beispiel 2: Lernen des letzten Zeitschritts

Wenn Sie andererseits einen LSTM trainieren möchten, der nur den letzten Zeitschritt in der Sequenz ausgibt, müssen Sie ihn setzen return_sequences=False(oder ihn einfach ganz aus dem Konstruktor entfernen), daFalse die Standardeinstellung ist). Und dann müssen Ihre Ausgabedaten ( data_yim obigen Beispiel) neu angeordnet werden, da Sie nur den letzten Zeitschritt angeben müssen. In diesem zweiten Beispiel hat jeder Eingangsdatenpunkt also noch 2 Zeitschritte mit jeweils 3 Merkmalen. Die Ausgabedaten sind jedoch nur ein einziger Vektor für jeden Datenpunkt, da wir alles auf einen einzigen Zeitschritt reduziert haben. Jeder dieser Ausgabevektoren hat jedoch immer noch 4 Merkmale (da dies die Größe ist, an die ich übergebe LSTM).

import keras.layers as L
import keras.models as M

import numpy

# The inputs to the model.
# We will create two data points, just for the example.
data_x = numpy.array([
    # Datapoint 1
    [
        # Input features at timestep 1
        [1, 2, 3],
        # Input features at timestep 2
        [4, 5, 6]
    ],
    # Datapoint 2
    [
        # Features at timestep 1
        [7, 8, 9],
        # Features at timestep 2
        [10, 11, 12]
    ]
])

# The desired model outputs.
# We will create two data points, just for the example.
data_y = numpy.array([
    # Datapoint 1
    # Target features at timestep 2
    [105, 106, 107, 108],
    # Datapoint 2
    # Target features at timestep 2
    [205, 206, 207, 208]
])

# Each input data point has 2 timesteps, each with 3 features.
# So the input shape (excluding batch_size) is (2, 3), which
# matches the shape of each data point in data_x above.
model_input = L.Input(shape=(2, 3))

# This RNN will return timesteps with 4 features each.
# Because return_sequences=False, it will output 2 timesteps, each
# with 4 features. So the output shape (excluding batch size) is
# (2, 4), which matches the shape of each data point in data_y above.
model_output = L.LSTM(4, return_sequences=False)(model_input)

# Create the model.
model = M.Model(input=model_input, output=model_output)

# You need to pick appropriate loss/optimizers for your problem.
# I'm just using these to make the example compile.
model.compile('sgd', 'mean_squared_error')

# Train
model.fit(data_x, data_y)