Was ist der Unterschied zwischen einem auf Impulsen basierenden Gefälle und einem beschleunigten Gefälle nach Nesterov?

So funktioniert der momentumbasierte Gradientenabstieg wie folgt:

$v=self.momentum*m-lr*g$

wobei die vorherigen Gewichtungsaktualisierungs sind, und g ist die aktuelle Gradient in bezug auf die Parameter p , l r ist die Lernrate und s e l f . m o m e n t u m ist eine Konstante.$m$$g$$p$$lr$$self.momentum$

$p_{new} = p + v = p + self.momentum * m - lr * g$

und Nesterovs beschleunigter Gradientenabstieg funktioniert wie folgt:

$p_{new} = p + self.momentum * v - lr * g$

was äquivalent ist zu:

$p_{new} = p + self.momentum * (self.momentum * m - lr * g ) - lr * g$

oder

$p_{new} = p + self.momentum^2 * m - (1 + self.momentum) * lr * g$

Quelle: https://github.com/fchollet/keras/blob/master/keras/optimizers.py

Für mich scheint es, dass Nesterovs beschleunigter Gradientenabstieg dem lr * g-Term mehr Gewicht verleiht als dem durchlässigen Gewichtsänderungsterm m (im Vergleich zum normalen alten Impuls). Ist diese Interpretation richtig?

Arechs Antwort zu Nesterovs Dynamik ist richtig, aber der Code macht im Wesentlichen dasselbe. In dieser Hinsicht gibt die Nesterov-Methode dem -Term mehr Gewicht und dem v -Term weniger Gewicht .$lr \cdot g$$v$

Um zu veranschaulichen, warum die Implementierung von Keras korrekt ist, werde ich das Beispiel von Geoffrey Hinton ausleihen .

$v' = m \cdot v - lr \cdot \nabla(w+m \cdot v)$
$w' = w + v'$
$m \cdot v$$-lr \cdot \nabla(w+m \cdot v)$$m \cdot v-lr \cdot \nabla(w+m \cdot v)$$\nabla(\cdot)$

$\nabla(w+m \cdot v) =: g$$\nabla(w)$

1. $(1 \rightarrow 0)$
2. $(0 \rightarrow 2)$
3. $(2 \rightarrow 3)$

$p' = p + m \cdot (m \cdot v - lr \cdot g) - lr \cdot g$

$\begin{align} p' &= p - m \cdot v + m \cdot v + m \cdot (m \cdot v - lr \cdot g) - lr \cdot g\\ &= p - m \cdot v + m \cdot v - lr \cdot g + m \cdot (m \cdot v - lr \cdot g)\\ &= p - m \cdot v + (m \cdot v-lr \cdot g) + m \cdot (m \cdot v-lr \cdot g) \end{align}$

$1 \rightarrow 0 \rightarrow 2 \rightarrow 3$$1 \rightarrow 2 \rightarrow 3$

$p - m \cdot v$$p$

Es scheint mir, dass die Frage des OP bereits beantwortet wurde, aber ich würde versuchen, eine andere (hoffentlich intuitive) Erklärung über den Impuls und den Unterschied zwischen dem klassischen Impuls (CM) und dem beschleunigten Gradienten (NAG) von Nesterov zu geben.

tl; dr Springe
einfach zum Bild am Ende.
Die Argumentation von NAG_ball ist ein weiterer wichtiger Teil, aber ich bin nicht sicher, ob es ohne den Rest einfach zu verstehen wäre.

$\theta$$f(\theta)$

In anderen Nachrichten erschienen kürzlich diese zwei wilden fühlenden Kugeln:

Es stellt sich heraus (nach dem beobachteten Verhalten der Kugeln, und an das Papier nach Auf der Bedeutung der Initialisierung und Impulses in tiefen Lernen , beschreibt , dass sowohl CM und NAG in Abschnitt 2) , dass jede Kugel verhält sich genau wie eine dieser Methoden , und so würden wir sie "CM_ball" und "NAG_ball" nennen:
(NAG_ball lächelt, weil er kürzlich das Ende von Vorlesung 6c - Die Impulsmethode von Geoffrey Hinton mit Nitish Srivastava und Kevin Swersky gesehen hat und deshalb mehr denn je daran glaubt sein Verhalten führt dazu, dass man schneller ein Minimum findet.)

So verhalten sich die Bälle:

• 
  $\theta_t$$t$$v_t$$t$$\theta_t=\theta_{t-1}+v_t$
• $v_t$
  • $v_{t-1}$
    $v_{t-1}$
    $\mu$$0.9 \le \mu <1$$\mu v_{t-1}$
    $\mu$
    
  • 
    
    $\epsilon$$\epsilon>0$
    $\epsilon$
    $g$$-\epsilon g$
• $$v_t=\mu v_{t-1} -\epsilon g$$
• 
  $$v_{t}=\mu v_{t-1}-\epsilon\nabla f\left(\theta_{t-1}\right)$$

• 
  

  $$v_{t}=\mu v_{t-1}-\epsilon\nabla f\left(\theta_{t-1}+\mu v_{t-1}\right)$$

  Die Argumentation von NAG_ball

  • Welcher Sprung auch immer zuerst kommt, mein Momentum Jump wäre der gleiche.
    Daher sollte ich die Situation so betrachten, als hätte ich meinen Momentum Jump bereits gemacht, und ich bin kurz davor, meinen Slope Jump zu machen.
  • Nun, mein Slope Jump wird konzeptionell von hier aus beginnen, aber ich kann wählen, ob ich berechnen möchte, wie mein Slope Jump vor dem Momentum Jump oder wie er hier begonnen hat.
  • $\theta$$\theta$$\theta$
    
    

$\theta$
$f(\theta)$$7$

Anhang 1 - Eine Demonstration der Argumentation von NAG_ball

In diesem hypnotisierenden Gif von Alec Radford sehen Sie, wie NAG wohl besser abschneidet als CM ("Momentum" im Gif).
(Das Minimum ist, wo sich der Stern befindet, und die Kurven sind Konturlinien . Eine Erklärung der Konturlinien und warum sie senkrecht zum Farbverlauf verlaufen, finden Sie in den Videos 1 und 2 des legendären 3Blue1Brown .)

Eine Analyse eines bestimmten Moments zeigt die Argumentation von NAG_ball:

• Der (lange) violette Pfeil ist der Impulsunterschritt.
• Der transparente rote Pfeil ist der Gradiententeilschritt, wenn er vor dem Momententeilschritt beginnt.
• Der schwarze Pfeil ist der Gradiententeilschritt, wenn er nach dem Impulsteilschritt beginnt.
• CM würde im Ziel des dunkelroten Pfeils enden.
• NAG würde im Ziel des schwarzen Pfeils enden.

Anhang 2 - Dinge / Begriffe, die ich erfunden habe (der Intuition halber)

• CM_ball
• NAG_ball
• Doppelsprung
• Momentum Jump
• Impulsverlust durch Reibung mit der Luft
• Hangsprung
• Wahnsinn eines Balls
• Ich habe gestern die Bälle beobachtet

Anhang 3 - Begriffe, die ich nicht erfunden habe

• So verhalten sich CM und NAG:
  • Ich habe mich hauptsächlich auf Abschnitt 2 im Artikel über die Wichtigkeit von Initialisierung und Dynamik beim Tiefenlernen verlassen .
    
  • Außerdem hat mir ein Überblick über Algorithmen zur Optimierung des Gefälleverlaufs (ein Blog-Beitrag von Sebastian Ruder) das Verständnis von CM und NAG (und vielem mehr) sehr erleichtert.
• Momentumkoeffizient - ein Begriff, der zumindest von der Arbeit verwendet wird
• Lernrate

Ich glaube nicht.

Eine gute Beschreibung der Eigenschaften von Nesterov Momentum (auch bekannt als Nesterov Accelerated Gradient) finden Sie beispielsweise bei Sutskever, Martens et al. "Über die Bedeutung der Initialisierung und des Impulses beim vertieften Lernen" 2013 .

Der Hauptunterschied besteht darin, dass Sie im klassischen Moment zuerst Ihre Geschwindigkeit korrigieren und dann einen großen Schritt entsprechend dieser Geschwindigkeit machen (und dann wiederholen). Im Nesterov-Moment machen Sie jedoch zuerst einen Schritt in die Richtung der Geschwindigkeit und korrigieren dann einen Geschwindigkeitsvektor an neuer Stelle (dann wiederholen).

dh klassische Dynamik:

vW(t+1) = momentum.*Vw(t) - scaling .* gradient_F( W(t) )
W(t+1) = W(t) + vW(t+1)

Während Nesterov Impuls ist dies:

vW(t+1) = momentum.*Vw(t) - scaling .* gradient_F( W(t) + momentum.*vW(t) )
W(t+1) = W(t) + vW(t+1)

Eigentlich macht das einen großen Unterschied in der Praxis ...

Hinzugefügt: Ein Stanford-Kurs über neuronale Netze, cs231n , bietet noch eine andere Form der Schritte:

v = mu * v_prev - learning_rate * gradient(x)   # GD + momentum
v_nesterov = v + mu * (v - v_prev)              # keep going, extrapolate
x += v_nesterov

Hier vist die Geschwindigkeit oder der Schritt oder der Zustand und muein Impulsfaktor, typischerweise 0,9 oder so. ( v, xUnd learning_ratekann sehr lang sein , Vektoren, mit numpy, wird der Code das gleiche ist.)

vin der ersten Zeile ist die Gefälleabnahme mit Impuls; v_nesterovextrapoliert, macht weiter. Zum Beispiel mit mu = 0.9,

v_prev  v   --> v_nesterov
---------------
 0  10  -->  19
10   0  -->  -9
10  10  -->  10
10  20  -->  29

Die folgende Beschreibung hat 3 Terme:
Term 1 allein ist ein einfacher Gradientenabstieg (GD),
1 + 2 ergeben GD + Impuls,
1 + 2 + 3 ergeben Nesterov GD.

$x_t \to y_t$$y_t \to x_{t+1}$

$\qquad y_t = x_t + m (x_t - x_{t-1}) \quad$ - Impuls, Prädiktor
$\qquad x_{t+1} = y_t + h\ g(y_t) \qquad$ - Gefälle

$g_t \equiv - \nabla f(y_t)$$h$

$y_t$

$\qquad y_{t+1} = y_t$
$\qquad \qquad + \ h \ g_t \qquad \qquad \quad$ - Gefälle
$\qquad \qquad + \ m \ (y_t - y_{t-1}) \qquad$ - Schritt Schwung
$\qquad \qquad + \ m \ h \ (g_t - g_{t-1}) \quad$ - Gradientenimpuls

Der letzte Term ist der Unterschied zwischen GD mit normalem Impuls und GD mit Nesterov-Impuls.

$m$$m_{grad}$
$\qquad \qquad + \ m \ (y_t - y_{t-1}) \qquad$ - Schritt Schwung
$\qquad \qquad + \ m_{grad} \ h \ (g_t - g_{t-1}) \quad$ - Gradientenimpuls

$m_{grad} = 0$$m_{grad} = m$
$m_{grad} > 0$
$m_{grad} \sim -.1$

$m_t$$h_t$