Wie breiten sich Gradienten in einem nicht abgerollten wiederkehrenden neuronalen Netzwerk aus?

8

Ich versuche zu verstehen, wie rnns verwendet werden können, um Sequenzen anhand eines einfachen Beispiels vorherzusagen. Hier ist mein einfaches Netzwerk, bestehend aus einem Eingang, einem versteckten Neuron und einem Ausgang:

Geben Sie hier die Bildbeschreibung ein

Das versteckte Neuron ist die Sigmoidfunktion, und die Ausgabe wird als einfache lineare Ausgabe angesehen. Ich denke, das Netzwerk funktioniert wie folgt: Wenn die verborgene Einheit im Status startet sund wir einen Datenpunkt verarbeiten, der eine Folge der Länge ist , dann: $3$ $(x_1, x_2, x_3)$

Zu einem Zeitpunkt 1, der vorhergesagte Wert, ist $p^1$

p^{1} = u \times σ (w s + v x^{1})

$p^1 = u \times \sigma(ws+vx^1)$

Zur Zeit 2haben wir

p^{2} = u \times σ (w \times σ (w s + v x^{1}) + v x^{2})

$p^2 = u \times \sigma\left(w \times \sigma(ws+vx^1)+vx^2\right)$

Zur Zeit 3haben wir

p^{3} = u \times σ (w \times σ (w \times σ (w s + v x^{1}) + v x^{2}) + v x^{3})

$p^3 = u \times \sigma\left(w \times \sigma(w \times\sigma(ws+vx^1)+vx^2)+vx^3\right)$

So weit, ist es gut?

Das "abgerollte" RNN sieht folgendermaßen aus:

Geben Sie hier die Bildbeschreibung ein

Wenn wir für die Zielfunktion eine Summe der quadratischen Fehlerterme verwenden, wie ist sie dann definiert? Auf die ganze Sequenz? In welchem Fall hätten wir so etwas wie ? $E=(p^1-x^1)^2+(p^2-x^2)^2+(p^3-x^3)^2$

Werden Gewichte erst aktualisiert, wenn die gesamte Sequenz betrachtet wurde (in diesem Fall die 3-Punkt-Sequenz)?

Was den Gradienten in Bezug auf die Gewichte betrifft, müssen wir berechnen. Ich werde versuchen, dies einfach durch Untersuchen der 3 Gleichungen für oben zu tun , wenn alles andere korrekt aussieht. Abgesehen davon sieht dies für mich nicht nach Vanilla-Back-Propagation aus, da dieselben Parameter in verschiedenen Schichten des Netzwerks angezeigt werden. Wie stellen wir uns darauf ein? $dE/dw, dE/dv, dE/du$ $p^i$

Wenn mir jemand helfen kann, mich durch dieses Spielzeugbeispiel zu führen, wäre ich sehr dankbar.

— Fequish
quelle

Ich denke, etwas stimmt nicht mit der Fehlerfunktion, Sie erhalten wahrscheinlich als zweiten Elementterm und Sie müssen es wahrscheinlich mit , im perfekten Fall müssen sie gleich sein. In Ihrer Fehlerfunktion vergleichen Sie einfach die Ein- und Ausgabe des Netzwerks.

p^{1}

$p^1$

x^{2}

$x^2$

— itdxer

Ich dachte, das könnte der Fall sein. Aber wie ist dann der Fehler für das letzte vorhergesagte Element ?

p^{3}

$p^3$

— Fequish

1

Ich denke, Sie brauchen Zielwerte. Für die Sequenz benötigen Sie also entsprechende Ziele . Da Sie den nächsten Term der ursprünglichen Eingabesequenz vorhersagen möchten, benötigen Sie: $(x_1, x_2, x_3)$ $(t_1, t_2, t_3)$

t_{1} = x_{2}, t_{2} = x_{3}, t_{3} = x_{4}

$t_1 = x_2,\ t_2 = x_3,\ t_3 = x_4$

Sie müssten definieren. Wenn Sie also eine Eingabesequenz der Länge zum Trainieren des RNN hätten, könnten Sie nur die ersten Terme als Eingabewerte und die letzten Terme als Ziel verwenden Werte. $x_4$ $N$ $N-1$ $N-1$

Wenn wir für die Zielfunktion eine Summe der quadratischen Fehlerterme verwenden, wie ist sie dann definiert?

Soweit mir bekannt ist, haben Sie Recht - der Fehler ist die Summe über die gesamte Sequenz. Dies liegt daran, dass die Gewichte , und über die entfaltete RNN gleich sind. $u$ $v$ $w$

Also ist

E = \sum_{t} E^{t} = \sum_{t} (t^{t} - p^{t})^{2}

$E = \sum\limits_t E^t = \sum\limits_t (t^t - p^t)^2$

Werden Gewichte erst aktualisiert, wenn die gesamte Sequenz betrachtet wurde (in diesem Fall die 3-Punkt-Sequenz)?

Ja, wenn ich die Rückausbreitung durch die Zeit verwende, dann glaube ich das.

Was die Differentiale betrifft, möchten Sie nicht den gesamten Ausdruck für und ihn differenzieren, wenn es um größere RNNs geht. Eine Notation kann es also ordentlicher machen: $E$

Es sei die Eingabe in das verborgene Neuron zum Zeitpunkt (dh ). $z^t$ $t$ $z^1 = ws + vx^1$
Lassen bezeichnet die Ausgabe für den versteckten Neurons zum Zeitpunkt (dh $y^t$ $t$ $y^1 = \sigma(ws + vx^1))$
Sei $y^0 = s$
Sei $\delta^t = \frac{\partial E}{\partial z^t}$

Dann sind die Derivate:

\begin{aligned} \frac{\partial E}{\partial u} & = y^{t} \\ \frac{\partial E}{\partial v} & = \sum_{t} δ^{t} x^{t} \\ \frac{\partial E}{\partial w} & = \sum_{t} δ^{t} y^{t - 1} \end{aligned}

$\begin{align}\frac{\partial E}{\partial u} &= y^t \\\\ \frac{\partial E}{\partial v} &= \sum\limits_t\delta^tx^t \\\\ \frac{\partial E}{\partial w} &= \sum\limits_t\delta^ty^{t-1} \end{align}$

Wobei für eine Folge der Länge gilt und: $t \in [1,\ T]$ $T$

δ^{t} = σ^{'} (z^{t}) (u + δ^{t + 1} w)

$\begin{equation} \delta^t = \sigma'(z^t)(u + \delta^{t+1}w) \end{equation}$

Diese wiederkehrende Beziehung ergibt sich aus der Erkenntnis, dass die verborgene Aktivität nicht nur den Fehler am -Ausgang , sondern auch den Rest des Fehlers weiter unten im RNN : $t^{th}$ $t^{th}$ $E^t$ $E - E^t$

\begin{aligned} \frac{\partial E}{\partial z^{t}} & = \frac{\partial E^{t}}{\partial y^{t}} \frac{\partial y^{t}}{\partial z^{t}} + \frac{\partial (E - E^{t})}{\partial z^{t + 1}} \frac{\partial z^{t + 1}}{\partial y^{t}} \frac{\partial y^{t}}{\partial z^{t}} \\ \frac{\partial E}{\partial z^{t}} & = \frac{\partial y^{t}}{\partial z^{t}} (\frac{\partial E^{t}}{\partial y^{t}} + \frac{\partial (E - E^{t})}{\partial z^{t + 1}} \frac{\partial z^{t + 1}}{\partial y^{t}}) \\ \frac{\partial E}{\partial z^{t}} & = σ^{'} (z^{t}) (u + \frac{\partial (E - E^{t})}{\partial z^{t + 1}} w) \\ δ^{t} = \frac{\partial E}{\partial z^{t}} & = σ^{'} (z^{t}) (u + δ^{t + 1} w) \end{aligned}

$\begin{align} \frac{\partial E}{\partial z^t} &= \frac{\partial E^t}{\partial y^t}\frac{\partial y^t}{\partial z^t} + \frac{\partial (E - E^t)}{\partial z^{t+1}}\frac{\partial z^{t+1}}{\partial y^t}\frac{\partial y^t}{\partial z^t} \\\\ \frac{\partial E}{\partial z^t} &= \frac{\partial y^t}{\partial z^t}\left(\frac{\partial E^t}{\partial y^t} + \frac{\partial (E - E^t)}{\partial z^{t+1}}\frac{\partial z^{t+1}}{\partial y^t}\right) \\\\ \frac{\partial E}{\partial z^t} &= \sigma'(z^t)\left(u + \frac{\partial (E - E^t)}{\partial z^{t+1}}w\right) \\\\ \delta^t = \frac{\partial E}{\partial z^t} &= \sigma'(z^t)(u + \delta^{t+1}w) \\\\ \end{align}$

Abgesehen davon sieht dies für mich nicht nach Vanilla-Back-Propagation aus, da dieselben Parameter in verschiedenen Schichten des Netzwerks angezeigt werden. Wie stellen wir uns darauf ein?

Diese Methode wird als Back Propagation Through Time (BPTT) bezeichnet und ähnelt der Back Propagation in dem Sinne, dass die Kettenregel wiederholt angewendet wird.

Ein detaillierteres, aber kompliziertes Beispiel für ein RNN finden Sie in Kapitel 3.2 von 'Überwachte Sequenzmarkierung mit wiederkehrenden neuronalen Netzen' von Alex Graves - wirklich interessante Lektüre!

— dok
quelle

0

Der oben beschriebene Fehler (nach der Änderung, die ich im Kommentar unter der Frage geschrieben habe) können Sie nur wie einen Gesamtvorhersagefehler verwenden, aber Sie können ihn nicht im Lernprozess verwenden. Bei jeder Iteration geben Sie einen Eingabewert in das Netzwerk ein und erhalten eine Ausgabe. Wenn Sie eine Ausgabe erhalten, müssen Sie Ihr Netzwerkergebnis überprüfen und den Fehler auf alle Gewichte übertragen. Nach dem Update setzen Sie den nächsten Wert in die Reihenfolge und machen eine Vorhersage für diesen Wert, dann verbreiten Sie auch den Fehler und so weiter.

— itdxer
quelle