Struktur des wiederkehrenden neuronalen Netzes (LSTM, GRU)

9

Ich versuche die Architektur von RNNs zu verstehen. Ich habe dieses Tutorial gefunden, das sehr hilfreich war: http://colah.github.io/posts/2015-08-Understanding-LSTMs/

Besonders dieses Bild:

Wie passt das in ein Feed-Forward-Netzwerk? Ist dieses Bild nur ein weiterer Knoten in jeder Ebene?

neural-networks lstm

— Adam12344
quelle

Oder sieht jedes Neuron so aus?

— Adam12344

8

$h_t$ $t$ $x_t$ $h_{t-1}$

$h_t$

— felipefg
quelle

h_{t}

$h_t$

c_{t}

$c_t$

x_{t}

$x_t$

6

In Ihrem Bild ist A eine einzelne verborgene Ebene mit einem einzelnen verborgenen Neuron. Von links nach rechts ist die Zeitachse, und unten erhalten Sie jedes Mal eine Eingabe. Oben könnte das Netzwerk durch Hinzufügen von Schichten weiter ausgebaut werden.

Wenn Sie dieses Netzwerk rechtzeitig entfalten würden, wie es in Ihrem Bild visuell dargestellt ist (von links nach rechts wird die Zeitachse entfaltet), würden Sie ein Feedforward-Netzwerk mit T (Gesamtanzahl der Zeitschritte) versteckten Schichten erhalten, die jeweils a enthalten einzelner Knoten (Neuron) wie im mittleren A-Block gezeichnet.

Hoffe das beantwortet deine Frage.

— Sjoerd
quelle

3

Ich möchte dieses einfache Diagramm in einem relativ komplizierten Kontext erklären: Aufmerksamkeitsmechanismus im Decoder des seq2seq-Modells.

$h_0$ $h_{k-1}$ $x_i$ . Ich illustriere Ihr Problem damit, dass alle Zustände des Zeitschritts für den Aufmerksamkeitsmechanismus gespeichert werden und nicht nur verworfen werden, um den letzten zu erhalten. Es ist nur eine neuronale Schicht und wird als Schicht betrachtet (mehrere Schichten können gestapelt werden, um beispielsweise in einigen seq2seq-Modellen einen bidirektionalen Encoder zu bilden, um abstraktere Informationen in den höheren Schichten zu extrahieren).

Anschließend wird der Satz (wobei die L Wörter und jedes als Vektor der Form dargestellt werden: Embedding_Dimention * 1) in eine Liste von L Tensoren (jeweils die Form: num_hidden / num_units * 1) codiert . Und der Zustand, der an den Decoder vorbei ist, ist nur der letzte Vektor als Satzeinbettung derselben Form für jedes Element in der Liste.

Bildquelle: Aufmerksamkeitsmechanismus

— Lerner Zhang
quelle