Vergessen Sie die Schicht in einem wiederkehrenden neuronalen Netzwerk (RNN) -

Ich versuche, die Dimensionen der einzelnen Variablen in einer RNN in der Vergessen-Ebene herauszufinden, bin mir jedoch nicht sicher, ob ich auf dem richtigen Weg bin. Das nächste Bild und die folgende Gleichung stammen aus Colahs Blogpost "Understanding LSTM Networks" :

wo:

• $x_t$ ist die Eingabe desVektorsder Größe$m*1$
• $h_{t-1}$ ist Stand der Größe versteckt$n*1$ - Vektor
• ist eine Verkettung (zum Beispiel, wenn x t = [ 1 , 2 , 3 ] , h t - 1 = [ 4 , 5 , 6 ] , dann [ x t , h t - 1 ] = [ 1 , 2 , 3 , 4 , 5 , 6 ] )$[x_t, h_{t-1}]$$x_t=[1, 2, 3], h_{t-1}=[4, 5, 6]$$[x_t, h_{t-1}]=[1, 2, 3, 4, 5, 6]$
• ist die Gewichtung derMatrixder Größe k ∗ ( m + n ) , wobei k die Anzahl der Zellzustände ist (wenn m = 3 und n = 3 im obigen Beispiel, und wenn wir 3 Zellzustände haben, dann ist w f = 3 ∗ 3 Matrix)$w_f$$k*(m+n)$$k$$m=3$$n=3$$w_f=3*3$
• ist eine Vorspannung der Größe k ≤ 1 Vektor, wobei k die Anzahl der Zellzustände ist (da k = 3 wie im obigen Beispiel ist, ist b f ein 3 ≤ 1 Vektor).$b_f$$k*1$$k$$k=3$$b_f$$3*1$

Wenn wir als: [ 1 2 3 4 5 6 5 6 7 8 9 10 3 4 5 6 7 8$w_f$

Und zu sein: [ 1 , 2 , 3 $b_f$$[1, 2, 3]$

Dann ist $W_f . [h_{t-1}, x_t] =$

Dann können wir die Vorspannung W f addieren . [ H t - 1 , x t ] + b f =$W_f . [h_{t-1}, x_t] + b_f=$

Dann füttern wir sie in eine Sigmoidfunktion: , wobeix=[ 92 177 136 ], daher führen wir dieses Funktionselement weise aus und erhalten[ 1 1 1 ].$\frac{1}{1+e^{-x}}$$x=\begin{bmatrix} 92 & 177 & 136\end{bmatrix}$

Das heißt, für jeden Zellzustand (es gibt k = 3 Zellzustände) lassen wir ihn zur nächsten Schicht übergehen.$C_{t-1}$$k=3$

Ist die obige Annahme richtig?

Dies bedeutet auch, dass die Anzahl der Zellenstatus und versteckten Status gleich ist?

Gute Frage!

tl; dr: Der Zellenstatus und der verborgene Status sind zwei verschiedene Dinge, aber der verborgene Status ist vom Zellenstatus abhängig und sie haben tatsächlich die gleiche Größe.

Längere Erklärung

Der Unterschied zwischen den beiden ist aus dem folgenden Diagramm ersichtlich (Teil desselben Blogs):

Der Zellzustand ist die fette Linie, die von Westen nach Osten über die Spitze verläuft. Der gesamte grüne Block wird als "Zelle" bezeichnet.

Der verborgene Zustand aus dem vorherigen Zeitschritt wird als Teil der Eingabe zum aktuellen Zeitschritt behandelt.

Es ist jedoch etwas schwieriger, die Abhängigkeit zwischen den beiden zu erkennen, ohne eine vollständige exemplarische Vorgehensweise durchzuführen. Ich werde das hier tun, um eine andere Perspektive zu bieten, die jedoch stark vom Blog beeinflusst wird. Meine Notation wird dieselbe sein und ich werde Bilder aus dem Blog in meiner Erklärung verwenden.

Ich mag es, die Reihenfolge der Operationen ein wenig anders zu sehen, als sie im Blog dargestellt wurden. Persönlich, wie ausgehend vom Eingangstor. Ich werde diesen Standpunkt im Folgenden erläutern. Beachten Sie jedoch, dass der Blog möglicherweise der beste Weg ist, einen LSTM rechnerisch einzurichten. Diese Erklärung ist rein konzeptionell.

Folgendes passiert:

Das Eingangstor

$t$$x_t$$h_{t-1}$

$x_t = [1, 2, 3]$$h_t = [4, 5, 6]$

$x_t$$h_{t-1}$$[1, 2, 3, 4, 5, 6]$

$W_i$$W_i \cdot [x_t, h_{t-1}] + b_i$$W_i$$b_i$

Nehmen wir an, wir gehen von einer sechsdimensionalen Eingabe (der Länge des verketteten Eingabevektors) zu einer dreidimensionalen Entscheidung darüber, welche Zustände aktualisiert werden sollen. Das heißt, wir brauchen eine 3x6-Gewichtsmatrix und einen 3x1-Vorspannungsvektor. Geben wir die folgenden Werte an:

$W_i = \begin{bmatrix} 1 & 1 & 1 & 1 & 1 & 1 \\ 2 & 2 & 2 & 2 & 2 & 2 \\ 3 & 3 & 3 & 3 & 3 & 3\end{bmatrix}$

$b_i = \begin{bmatrix} 1 \\ 1 \\ 1 \end{bmatrix}$

Die Berechnung wäre:

$\begin{bmatrix} 1 & 1 & 1 & 1 & 1 & 1 \\ 2 & 2 & 2 & 2 & 2 & 2 \\ 3 & 3 & 3 & 3 & 3 & 3\end{bmatrix} \cdot \begin{bmatrix} 1 \\ 2 \\ 3 \\ 4 \\5 \\6 \end{bmatrix} + \begin{bmatrix} 1 \\ 1 \\ 1 \end{bmatrix} = \begin{bmatrix} 22 \\ 42 \\ 62 \end{bmatrix}$

$i_t = \sigma (W_i \cdot [x_t, h_{t-1}] + b_i)$

$\sigma(x) = \frac{1}{1 + exp(-x)}$$x$

$\sigma(\begin{bmatrix} 22 \\ 42 \\ 62 \end{bmatrix}) = [\frac{1}{1 + exp(-22)}, \frac{1}{1 + exp(-42)}, \frac{1}{1 + exp(-62)}] = [1, 1, 1]$

Auf Englisch bedeutet dies, dass wir alle unsere Bundesstaaten aktualisieren werden.

Das Eingangstor hat einen zweiten Teil:

$\tilde{C_t} = tanh(W_C[x_t, h_{t-1}] + b_C)$

In diesem Teil soll berechnet werden, wie wir den Status aktualisieren würden, wenn wir dies tun würden. Dies ist der Beitrag der neuen Eingabe zu diesem Zeitpunkt zum Zellzustand. Die Berechnung erfolgt auf die gleiche Weise wie oben beschrieben, jedoch mit einer Tanh-Einheit anstelle einer Sigmoid-Einheit.

$\tilde{C_t}$$i_t$

$i_t$$\tilde{C_t}$

Dann kommt das Vergessentor, das der Kern Ihrer Frage war.

Das Vergessentor

Der Zweck des Vergessens besteht darin, zuvor erlernte Informationen zu entfernen, die nicht mehr relevant sind. Das Beispiel im Blog basiert auf der Sprache, wir können uns aber auch ein Schiebefenster vorstellen. Wenn Sie eine Zeitreihe modellieren, die auf natürliche Weise durch ganze Zahlen dargestellt wird, wie die Anzahl infektiöser Personen in einem Gebiet während eines Krankheitsausbruchs, dann möchten Sie sich nicht länger die Mühe machen, diesen Bereich in Betracht zu ziehen, wenn Nachdenken darüber, wie die Krankheit als nächstes reisen wird.

Genau wie die Eingabeebene übernimmt die Vergesseebene den verborgenen Zustand des vorherigen Zeitschritts und die neue Eingabe des aktuellen Zeitschritts und verkettet sie. Es geht darum, stochastisch zu entscheiden, was man vergisst und woran man sich erinnert. In der vorherigen Berechnung habe ich eine Sigmoid-Schicht-Ausgabe aller Einsen gezeigt, aber in Wirklichkeit war sie näher an 0,999 und ich habe aufgerundet.

Die Berechnung sieht ungefähr so ​​aus, wie wir es in der Eingabeebene gemacht haben:

$f_t = \sigma(W_f [x_t, h_{t-1}] + b_f)$

Dies gibt uns einen Vektor der Größe 3 mit Werten zwischen 0 und 1. Stellen wir uns vor, er hätte uns gegeben:

$[0.5, 0.8, 0.9]$

Dann entscheiden wir stochastisch anhand dieser Werte, welche dieser drei Informationsteile zu vergessen sind. Eine Möglichkeit besteht darin, eine Zahl aus einer gleichmäßigen (0, 1) Verteilung zu generieren, und wenn diese Zahl geringer ist als die Wahrscheinlichkeit, dass sich die Einheit einschaltet (0,5, 0,8 und 0,9 für die Einheiten 1, 2 und 3) jeweils), dann schalten wir das Gerät ein. In diesem Fall würden wir diese Information vergessen.

Kurznotiz: Die Eingabeebene und die Vergessebene sind unabhängig voneinander. Wenn ich eine Wettperson wäre, würde ich wetten, dass dies ein guter Ort für die Parallelisierung ist.

Aktualisieren des Zellenstatus

Jetzt haben wir alles, was wir brauchen, um den Zellstatus zu aktualisieren. Wir nehmen eine Kombination der Informationen aus den Eingaben und den Vergessen-Gates:

$C_t = f_t \circ C_{t-1} + i_t \circ \tilde{C_t}$

Nun, das wird ein bisschen seltsam. Anstatt wie bisher zu multiplizieren$\circ$ gibt das Hadamard-Produkt an, bei dem es sich um ein Einstiegsprodukt handelt.

Nebenbei: Hadamard-Produkt

Zum Beispiel, wenn wir zwei Vektoren hätten $x_1 = [1, 2, 3]$ und $x_2 = [3, 2, 1]$ und wir wollten das Hadamard-Produkt nehmen, wir würden dies tun:

$x_1 \circ x_2 = [(1 \cdot 3), (2 \cdot 2), (3 \cdot 1)] = [3, 4, 3]$

Beenden Sie beiseite.

Auf diese Weise kombinieren wir das, was wir zum Zellstatus (Eingabe) hinzufügen möchten, mit dem, was wir aus dem Zellstatus entfernen möchten (Vergessen). Das Ergebnis ist der neue Zellzustand.

Das Ausgangstor

Dies wird uns den neuen verborgenen Zustand geben. Im Wesentlichen besteht der Punkt des Ausgangsgatters darin, zu entscheiden, welche Informationen der nächste Teil des Modells berücksichtigen soll, wenn der nachfolgende Zellenzustand aktualisiert wird. Das Beispiel im Blog lautet wieder Sprache: Wenn das Substantiv Plural ist, ändert sich die Verbkonjugation im nächsten Schritt. Wenn in einem Krankheitsmodell die Anfälligkeit von Personen in einem bestimmten Gebiet anders ist als in einem anderen Gebiet, kann sich die Wahrscheinlichkeit ändern, eine Infektion zu bekommen.

Die Ausgabeebene übernimmt dieselbe Eingabe erneut, berücksichtigt dann jedoch den aktualisierten Zellstatus:

$o_t = \sigma(W_o [x_t, h_{t-1}] + b_o)$

Dies gibt uns wieder einen Vektor von Wahrscheinlichkeiten. Dann berechnen wir:

$h_t = o_t \circ tanh(C_t)$

Der aktuelle Zellenzustand und das Ausgangsgatter müssen sich also darauf einigen, was ausgegeben werden soll.

Das heißt, wenn das Ergebnis von $tanh(C_t)$ ist $[0, 1, 1]$ nachdem die stochastische Entscheidung getroffen wurde, ob jede Einheit an oder aus ist, und das Ergebnis von $o_t$ ist $[0, 0, 1]$Wenn wir dann das Hadamard-Produkt nehmen, werden wir bekommen $[0, 0, 1]$, und nur die Einheiten, die sowohl vom Ausgangstor als auch im Zellenzustand eingeschaltet wurden, sind Teil der endgültigen Ausgabe.

[BEARBEITEN: Es gibt einen Kommentar im Blog, der sagt, die $h_t$ wird wieder in eine tatsächliche Ausgabe von umgewandelt $y_t = \sigma(W \cdot h_t)$Dies bedeutet, dass die tatsächliche Ausgabe auf dem Bildschirm (vorausgesetzt, Sie haben einige) das Ergebnis einer anderen nichtlinearen Transformation ist.]

Das Diagramm zeigt das $h_t$Gehe zu zwei Stellen: der nächsten Zelle und zur 'Ausgabe' - zum Bildschirm. Ich denke, dass der zweite Teil optional ist.

Es gibt viele Varianten von LSTMs, aber das deckt das Wesentliche ab!