Kann das Problem des verschwindenden Gradienten gelöst werden, indem die Eingabe von tanh mit einem Koeffizienten multipliziert wird?

Nach meinem Verständnis tritt das Problem des verschwindenden Gradienten beim Training neuronaler Netze auf, wenn der Gradient jeder Aktivierungsfunktion kleiner als 1 ist, so dass das Produkt dieser Gradienten sehr klein wird, wenn Korrekturen durch viele Schichten zurückpropagiert werden.

Ich weiß, dass es andere Lösungen wie eine Gleichrichteraktivierungsfunktion gibt , aber meine Frage ist, warum wir nicht einfach eine Variation der häufig verwendeten Tanh- Funktion verwenden können.

Wenn die Aktivierungsfunktion von der Form war $\tanh(n x)$ dann ist der maximal mögliche Gradient $n$. Also wenn$n > 1$Wir haben keinen Fall mehr, in dem das Produkt der Gradienten notwendigerweise auf 0 geht.

Gibt es einen Grund, warum eine solche Aktivierungsfunktion sonst fehlschlagen würde?

Du hast Recht. Zum$n > 1$Die Multiplikation von Ableitungen geht nicht unbedingt auf Null, da jede Ableitung möglicherweise größer als eins sein kann (bis zu$n$).

Aus praktischen Gründen sollten wir uns jedoch fragen, wie einfach es ist, diese Situation aufrechtzuerhalten (die Multiplikation von Derivaten von Null fernzuhalten). Welche erweist sich als ziemlich hart im Vergleich zu relu, die 1 - Derivat = gibt, speziell jetzt, wo es auch eine Chance Gefälle Explosion .

Einführung

Angenommen, wir haben $K$ Derivate (stehen für Tiefe $K$) wie folgt multipliziert

$$g=\left.\frac{\partial f(x)}{\partial x} \right|_{x=x_1}\cdots \left.\frac{\partial f(x)}{\partial x} \right|_{x=x_K}$$ jeweils mit unterschiedlichen Werten bewertet $x_1$ zu $x_K$. In einem neuronalen Netzwerk jeweils$x_i$ ist eine gewichtete Summe der Ausgaben $\boldsymbol{h}$ aus der vorherigen Schicht, z $x = \boldsymbol{w}^t\boldsymbol{h}$.

Wie $K$ erhöht, wollen wir wissen, was es braucht, um das Verschwinden von zu verhindern $g$. Zum Beispiel für den Fall von

$$f(x)=tanh(x)$$ wir können das nicht verhindern, weil jede Ableitung kleiner als eins ist, außer für $x=0$dh $$\frac{\partial f(x)}{\partial x}=\frac{\partial tanh(x)}{\partial x}=1-tanh^2(x) < 1 \text{ for } x \neq 0$$ Es gibt jedoch eine neue Hoffnung, die auf Ihrem Vorschlag basiert. Zum$f(x)=tanh(nx)$, Derivat könnte bis gehen $n > 1$dh $$\frac{\partial f(x)}{\partial x}=\frac{\partial tanh(nx)}{\partial x}=n\left(1-tanh^2(nx)\right) < n \text{ for } x \neq 0.$$

Wann sind die Kräfte ausgeglichen?

Hier ist der Kern meiner Analyse:

Wie weit $x$ muss weg von $0$ eine Ableitung kleiner als haben $\frac{1}{n}$ aufheben $n$ Welches ist die maximal mögliche Ableitung?

Der Vater $x$ muss weg von $0$desto schwieriger ist es, unten ein Derivat herzustellen $\frac{1}{n}$Je einfacher es ist, zu verhindern, dass die Multiplikation verschwindet. Diese Frage versucht die Spannung zwischen Gut zu analysieren $x$ist nahe Null und schlecht $x$ist weit von Null entfernt. Zum Beispiel, wenn gut und schlecht$x$'s sind ausgeglichen, sie würden eine Situation wie schaffen

$$g=n \times n \times \frac{1}{n} \times n \times \frac{1}{n} \times \frac{1}{n} = 1.$$ Im Moment versuche ich optimistisch zu sein, indem ich nicht willkürlich groß betrachte $x_i$'s, da kann auch einer von ihnen bringen $g$ willkürlich nahe Null.

Für den Sonderfall von $n=1$, irgendein $|x| > 0$ führt zu einer Ableitung $< 1/1 = 1$Daher ist es fast unmöglich, das Gleichgewicht zu halten (zu verhindern $g$ vom Verschwinden) als Tiefe $K$ erhöht sich z

$$g=0.99 \times 0.9 \times 0.1 \times 0.995 \cdots \rightarrow 0.$$

Für den allgemeinen Fall von $n > 1$Wir gehen wie folgt vor

$$\begin{align*} &\frac{\partial tanh(nx)}{\partial x} < \frac{1}{n}\\ &\Rightarrow n\left(1-tanh^2(nx)\right) < \frac{1}{n}\\ &\Rightarrow 1 - \frac{1}{n^2} < tanh^2(nx) \\ &\Rightarrow \sqrt{1 - \frac{1}{n^2}} < |tanh(nx)| \\ &\Rightarrow x > t_1(n):=\frac{1}{n}tanh^{-1}\left(\sqrt{1 - \frac{1}{n^2}}\right) \\ &\text{or } x < t_2(n):=-t_1(n)=\frac{1}{n}tanh^{-1}\left(-\sqrt{1 - \frac{1}{n^2}}\right) \end{align*}$$ So für $|x| > t_1(n)$ist die Ableitung kleiner als $\frac{1}{n}$. In Bezug auf die Größe kleiner als eins ergibt sich daher die Multiplikation zweier Ableitungen mit$x_1 \in {\Bbb R}$ und $|x_2| > t_1(n)$ zum $n > 1$ entspricht einer beliebigen Ableitung für $n=1$dh $$\left(\left.\frac{\partial tanh(nx)}{\partial x}\right|_{x=x_1\in {\Bbb R}} \times \left.\frac{\partial tanh(nx)}{\partial x}\right|_{x = x_2,|x_2| > t_1(n)}\right) \equiv \left.\frac{\partial tanh(x)}{\partial x}\right|_{x = z}, z \in {\Bbb R}\setminus\{0\}.$$ Mit anderen Worten,

$K$ erwähnte Paare von Derivaten für $n > 1$ ist so problematisch wie $K$ Derivate für $n=1$.

Nun, um zu sehen, wie einfach (oder schwer) es ist zu haben $|x| > t_1(n)$, lasst uns planen $t_1(n)$ und $t_2(n)$ (Schwellenwerte sind für eine kontinuierliche aufgetragen $n$).

Wie Sie sehen können, um eine Ableitung zu haben $\geq 1/n$wird das größte Intervall bei erreicht $n=2$, was immer noch eng ist! Dieses Intervall ist$[-0.658, 0.658]$Bedeutung für $|x| > 0.658$ist die Ableitung kleiner als $1/2$. Hinweis: Ein etwas größeres Intervall ist erreichbar, wenn$n$ darf kontinuierlich sein.

Basierend auf dieser Analyse können wir nun zu einer Schlussfolgerung gelangen:

Verhindern $g$vom Verschwinden, etwa die Hälfte oder mehr von$x_i$muss innerhalb eines Intervalls wie sein $[-0.658, 0.658]$

Wenn also ihre Ableitungen mit der anderen Hälfte gepaart sind, würde die Multiplikation jedes Paares bestenfalls über eins liegen (erforderlich, dass nein$x$ ist weit in große Werte), dh

$$\left(\left.\frac{\partial f(x)}{\partial x} \right|_{x=x_1 \in {\Bbb R}}\left. \times \frac{\partial f(x)}{\partial x} \right|_{x=x_2\in [-0.658, 0.658]}\right) > 1$$ In der Praxis dürfte es jedoch mehr als die Hälfte davon geben$x$ist außerhalb von $[-0.658, 0.658]$ oder ein paar $x$ist mit großen Werten, die verursachen $g$auf Null verschwinden. Es gibt auch ein Problem mit zu vielen$x$ist nahe Null, was ist

Zum $n > 1$, zu viele $x$nahe Null könnte zu einem großen Gefälle führen $g \gg 1$ (möglicherweise bis zu $n^K$), der die Gewichte in größere Werte verschiebt (explodiert) ($w_{t+1} = w_{t} + \lambda g$), die die $x$ist in größere Werte ($x_{t+1} = \boldsymbol{w}^t_{t+1}\boldsymbol{h}_{t+1}$) das Gute umwandeln $x$steht auf (sehr) schlechte.

Wie groß ist zu groß?

Hier führe ich eine ähnliche Analyse durch, um zu sehen

Wie weit $x$ muss weg von $0$ eine Ableitung kleiner als haben $\frac{1}{n^{K-1}}$ den anderen aufzuheben $K-1$ $x$Nehmen wir an, sie sind sehr nahe bei Null und haben den maximal möglichen Gradienten erreicht?

Um diese Frage zu beantworten, leiten wir die folgende Ungleichung ab

$$\begin{align*} &\frac{\partial tanh(nx)}{\partial x} < \frac{1}{n^{K-1}} \Rightarrow |x| > \frac{1}{n}tanh^{-1}\left(\sqrt{1 - \frac{1}{n^K}}\right)\\ \end{align*}$$

das zeigt zum Beispiel für die Tiefe $K = 50$ und $n=2$, ein Wert außerhalb $[-9.0, 9.0]$ erzeugt eine Ableitung $< 1/2^{49}$. Dieses Ergebnis gibt eine Vorstellung davon, wie einfach es für ein paar ist$x$ist um 5-10, um die Mehrheit der guten aufzuheben $x$'s.

Einbahnstraßen-Analogie

Basierend auf den vorherigen Analysen konnte ich eine qualitative Analogie unter Verwendung einer Markov-Kette aus zwei Zuständen liefern $[g \gg 0]$ und $[g \sim 0]$ das modelliert grob das dynamische Verhalten des Gradienten $g$ wie folgt

Wenn das System in den Status wechselt $[g \sim 0]$Es gibt nicht viel Gefälle, um die Werte wieder in den Zustand zu versetzen (zu ändern) $[g \gg 0]$. Dies ähnelt einer Einbahnstraße, die irgendwann passiert wird, wenn wir ihr genügend Zeit geben (ausreichend große Epochen), da keine Konvergenz des Trainings stattfindet (andernfalls haben wir eine Lösung gefunden, bevor ein verschwindender Gradient auftritt).

Eine weitergehende Analyse des dynamischen Verhaltens des Gradienten wäre möglich, indem eine Simulation an tatsächlichen neuronalen Netzen durchgeführt wird (die möglicherweise von vielen Parametern wie Verlustfunktion, Breite und Tiefe des Netzes und Datenverteilung abhängt) und erstellt wird

1. Ein Wahrscheinlichkeitsmodell, das anhand einer Gradientenverteilung angibt, wie oft das Verschwinden auftritt $g$ oder eine gemeinsame Verteilung ($\boldsymbol{x}$, $g$) oder ($\boldsymbol{w}$, $g$), oder
2. Ein deterministisches Modell (Karte), das angibt, welche Anfangspunkte (Anfangswerte der Gewichte) zum Verschwinden des Gradienten führen. möglicherweise begleitet von Trajektorien von Anfangs- bis Endwerten.

Explodierendes Gradientenproblem

Wir haben den Aspekt "Verschwindender Gradient" von behandelt $tanh(nx)$. Im Gegenteil, für den Aspekt " explodierender Gradient " sollten wir uns Sorgen machen, zu viele zu haben$x$ist nahe Null, was möglicherweise einen Gradienten erzeugen könnte $n^K$, was zu numerischer Instabilität führt. Für diesen Fall eine ähnliche Analyse basierend auf Ungleichheit

$$\begin{align*} &\frac{\partial tanh(nx)}{\partial x} > 1 \Rightarrow |x| < \frac{1}{n}tanh^{-1}\left(\sqrt{1 - \frac{1}{n}}\right)\\ \end{align*}$$ shows that for $n=2$, around half or more of $x_i$'s should be outside of $[-0.441, 0.441]$ to have $g$ around $O(1)$ away from $O(n^K)$. This leaves an even smaller region on ${\Bbb R}^K$ in which $K$ $tanh(nx)$ functions would work well together (neither vanished, nor exploded); reminding that $tanh(x)$ does not have the exploding gradient problem.

I have plotted what you are referring in the following picture. As you can see, by employing a coefficient as the input of the tanh function, you are limiting the range of changes of the function with respect to $x$ axis. This has a negative effect. The reason is that although you are making the slope sharper for a very small region in the domain, you are making the differentiation of the other points in the domain more close to zero. The vanishing problem occurs due to the fact that the outputs of neurons go far from the zero and they will be biased to each of the two directions. After that, the differentiation value is so much small and due to begin smaller than one and bigger than zero, it gets even smaller after being multiplied by the other differentiations which are like itself.

Another nice question can be this that you have a coefficient value smaller than one. I've illustrated that In the following picture. In this figure, you are changing the function in a way that you have a differentiation which is larger than before in more points of the domain, but again it is smaller than one. This is not valuable for deep networks.

As I have mentioned, in both cases which you employ coefficient, the derivative would be smaller than one and is not valuable for deep networks.

The derivative of tanh(x) is sech(x)^2, where sech(x)=2e^x/(1+e^(2x)). Hence, when you see the gradient decreases to 0, that means x converges to +/- infinity . If you consider tanh(nx), then the derivative is n sech(nx)^2, and sech(nx)^2 converges to 0 faster than n converging to infinity, when x converges to +/- infinity. Therefore, heuristically, multiplying the argument by bigger n will make things worse.

Thanks to everyone for their great answers - they've really helped in thinking about this problem - and I recommend anyone interested in the problem having a look - but there's a much simpler route to an answer:

When we replace $tanh(x)$ with $tanh(nx)$ as an activation function we have changed nothing about the performance of the activation function.

All we have done is rescaled all the weights and biases of the network - which we are free to do arbitrarily. This will not affect the performance of the network, but certainly will the initialization. Previously I had stated that it will not affect the training either - but I'm now not sure I can state this with full confidence.