Warum sich in einem RNN zurück durch die Zeit ausbreiten?

In einem wiederkehrenden neuronalen Netzwerk würden Sie normalerweise die Weiterleitung über mehrere Zeitschritte durchführen, das Netzwerk "ausrollen" und dann die Weiterleitung über die Folge von Eingaben zurückführen.

Warum sollten Sie nicht einfach die Gewichte nach jedem einzelnen Schritt in der Sequenz aktualisieren? (Das entspricht einer Trunkierungslänge von 1, es gibt also nichts, was abgewickelt werden müsste.) Dies beseitigt das Problem des Verschwindens des Gradienten vollständig, vereinfacht den Algorithmus erheblich, würde wahrscheinlich die Wahrscheinlichkeit verringern, in lokalen Minima hängen zu bleiben, und scheint vor allem gut zu funktionieren . Ich habe ein Modell auf diese Weise trainiert, um Text zu generieren, und die Ergebnisse schienen mit den Ergebnissen vergleichbar zu sein, die ich von BPTT-trainierten Modellen gesehen habe. Ich bin nur verwirrt, weil in jedem Tutorial zu RNNs, das ich gesehen habe, die Verwendung von BPTT empfohlen wird, fast so, als ob es für das richtige Lernen erforderlich wäre, was nicht der Fall ist.

Update: Ich habe eine Antwort hinzugefügt

Bearbeiten: Ich habe einen großen Fehler beim Vergleichen der beiden Methoden gemacht und muss meine Antwort ändern. Es stellt sich heraus, wie ich es getan habe, indem ich mich auf den aktuellen Zeitschritt beschränkte, und tatsächlich anfing, schneller zu lernen. Die schnellen Updates lernen die grundlegendsten Muster sehr schnell. Bei einem größeren Datensatz und einer längeren Einarbeitungszeit hat BPTT jedoch tatsächlich die Nase vorn. Ich habe eine kleine Stichprobe für ein paar Epochen getestet und angenommen, wer als Sieger anfängt. Dies führte mich jedoch zu einem interessanten Fund. Wenn Sie zu Beginn Ihres Trainings nur einen einzigen Zeitschritt zurückpropagieren, dann wechseln Sie zu BPTT und erhöhen Sie langsam, wie weit Sie zurückpropagieren, um eine schnellere Konvergenz zu erzielen.

Ein RNN ist ein Deep Neural Network (DNN), bei dem jede Schicht neue Eingaben annehmen kann, aber dieselben Parameter hat. BPT ist ein ausgefallenes Wort für Back Propagation in einem solchen Netzwerk, das selbst ein ausgefallenes Wort für Gradient Descent ist.

Angenommen , dass die Ausgänge RNN y t in jedem Schritt und e r r o r t = ( y t - y t ) 2$\hat{y}_t$

$$\begin{equation} error_t=(y_t-\hat{y}_t)^2 \end{equation}$$

Um die Gewichte zu lernen, benötigen wir Gradienten für die Funktion, um die Frage zu beantworten: "Wie stark wirkt sich eine Änderung des Parameters auf die Verlustfunktion aus?" und bewegen Sie die Parameter in die Richtung, die gegeben ist durch:

$$\begin{equation} \nabla error_t=-2(y_t-\hat{y}_t)\nabla \hat{y}_t \end{equation}$$

Das heißt, wir haben eine DNN, in der wir Feedback darüber erhalten, wie gut die Vorhersage auf jeder Schicht ist. Da eine Änderung des Parameters jede Schicht im DNN (Zeitschritt) ändert und jede Schicht zu den bevorstehenden Ausgaben beiträgt, muss dies berücksichtigt werden.

Nehmen Sie ein einfaches Ein-Neuron-Ein-Schicht-Netzwerk, um dies semi-explizit zu sehen:

$$\begin{align*} \hat{y}_{t+1} =& f(a+bx_t+c\hat{y}_t)\\ \frac{\partial}{\partial a}\hat{y}_{t+1} = & f'(a+bx_t+c\hat{y}_t)\cdot c\cdot \frac{\partial}{\partial a}\hat{y}_{t} \\ \frac{\partial}{\partial b}\hat{y}_{t+1} = & f'(a+bx_t+c\hat{y}_t)\cdot (x_t+c\cdot\frac{\partial}{\partial b}\hat{y}_{t})\\ \frac{\partial}{\partial c}\hat{y}_{t+1} = & f'(a+bx_t+c\hat{y}_t)\cdot (\hat{y}_t+c\cdot\frac{\partial}{\partial c}\hat{y}_{t})\\ \iff\\ \nabla \hat{y}_{t+1} =& f'(a+bx_t+c\hat{y}_t)\cdot \left(\begin{bmatrix}0\\x_t\\\hat{y}_t \end{bmatrix} + c \mathbin{\color{red}{\nabla \hat{y}_{t}}} \right) \end{align*}$$

With $\delta$ the learning rate one training step is then:

$$\begin{equation} \begin{bmatrix}\tilde{a}\\\tilde{b}\\\tilde{c}\end{bmatrix} \leftarrow \begin{bmatrix}a\\b\\c\end{bmatrix} + \delta (y_{t}-\hat{y}_{t})\nabla \hat{y}_t \end{equation}$$

What we see is that in order to calculate $\nabla \hat{y}_{t+1}$ you need to calculate i.e roll out $\nabla \hat{y}_{t}$. What you propose is to simply disregard the red part calculate the red part for $t$aber nicht weiter rekursiv. Ich gehe davon aus, dass Ihr Verlust so etwas wie ist

$$\begin{equation} error=\sum_t(y_t-\hat{y}_t)^2 \end{equation}$$

Vielleicht trägt dann jeder Schritt eine grobe Richtung bei, die aggregiert ausreicht? Dies könnte Ihre Ergebnisse erklären, aber ich wäre sehr daran interessiert, mehr über Ihre Methode / Verlustfunktion zu erfahren! Wäre auch interessiert an einem Vergleich mit einem Zwei-Zeitschritt-Fenster von ANN.

edit4: Nach dem Lesen von Kommentaren scheint Ihre Architektur keine RNN zu sein.

RNN: Stateful - Verborgenen Zustand weiterleiten $h_t$auf unbestimmte Zeit Dies ist Ihr Modell, aber das Training ist anders.

Ihr Modell: Zustandslos - Versteckter Zustand wird in jedem Schritt wiederhergestellt. Bearbeiten2: DNNs wurden mehr Verweise hinzugefügt. Bearbeiten3: Feste Abstufung und etwas Notation. Bearbeiten5: Die Interpretation Ihres Modells nach Ihrer Antwort / Erläuterung wurde korrigiert.

"Entfaltung durch die Zeit" ist einfach eine Anwendung der Kettenregel,

$$\frac{dF(g(x), h(x), m(x))}{dx} = \frac{\partial F}{\partial g}\frac{dg}{dx} + \frac{\partial F}{\partial h}\frac{dh}{dx} + \frac{\partial F}{\partial m}\frac{dm}{dx}$$

Die Ausgabe einer RNN im Zeitschritt $t$, $H_t$ ist eine Funktion der Parameter $\theta$, die Eingabe $x_t$ und der vorherige Zustand, $H_{t-1}$ (beachte das stattdessen $H_t$ kann im Zeitschritt erneut transformiert werden $t$um die Ausgabe zu erhalten, ist das hier nicht wichtig). Erinnern Sie sich an das Ziel des Gefälleabstiegs: eine bestimmte Fehlerfunktion vorausgesetzt$L$Schauen wir uns unseren Fehler für das aktuelle Beispiel (oder die aktuellen Beispiele) an und passen wir ihn an $\theta$ Auf diese Weise würde sich unser Fehler bei gleichem Beispiel verringern.

Wie genau hat $\theta$Zu unserem aktuellen Fehler beitragen? Wir haben eine gewichtete Summe mit unserem aktuellen Input genommen,$x_t$, so müssen wir durch die Eingabe backpropagieren, um zu finden $\nabla_\theta a(x_t, \theta)$, um herauszufinden, wie man sich anpasst $\theta$. Aber unser Fehler war auch das Ergebnis eines Beitrags von$H_{t-1}$, das war auch eine Funktion von $\theta$, richtig? Also müssen wir es herausfinden$\nabla_\theta H_{t-1}$, das war eine Funktion von $x_{t-1}$, $\theta$ und $H_{t-2}$. Aber$H_{t-2}$ war auch eine Funktion eine Funktion von $\theta$. Und so weiter.