Gefälle Abstieg von

Ich lese Why Momentum Really Works , einen Beitrag aus dem neuen Destillationsjournal. Ich werde die Hauptgleichungen umschreiben, die zu dem Teil führen, der mich verwirrt. Der Beitrag beschreibt die Intuition genauer.

Der Gradientenabstiegsalgorithmus ist durch den folgenden iterativen Prozess gegeben: wobei der Wert der Iteration , die Lernrate und ist der Gradient der bei ausgewerteten Funktion . Die Funktion Sie minimieren möchten.

$$w^{k+1} = w^k-\alpha \nabla f(w^k)$$ $w^k$$k$$\alpha$$\nabla f(w)$$f$$w$$f$

Der Gradientenabstieg mit Impuls wird durch Hinzufügen von "Gedächtnis" zum Abstieg angegeben. Dies wird durch das Gleichungspaar beschrieben:

$$\begin{align} z^{k+1} &= \beta z^k + \nabla f(w^k) \\ w^{k+1} &= w^k - \alpha z^{k+1} \end{align}$$

Im nächsten Abschnitt "Erste Schritte: Gradientenabstieg" betrachtet der Autor eine konvexe quadratische Funktion mit Gradient Wenn wir annehmen, dass symmetrisch und invertierbar ist, dann hat die optimale Lösung .

$$f(w) = \frac12w^TAw-b^Tw, \quad w \in \mathbb{R}^n, A \in \mathbb{R}^{n,n}$$ $$\nabla f(w) = Aw-b$$ $A$$f$$w^\star = A^{-1}b$

Wenn wir einen Gradientenabstieg verwenden würden, würden wir auf folgende Weise zu dieser optimalen Lösung iterieren:

$$\begin{align} w^{k+1} &= w^k - \alpha \nabla f(w) \\ &= w^k - \alpha (Aw^k -b) \end{align}$$

Dann heißt es in dem Artikel weiter: "Es gibt einen sehr natürlichen Raum, um den Gradientenabstieg zu betrachten, in dem alle Dimensionen unabhängig voneinander wirken - die Eigenvektoren von ". Ich denke, das macht Sinn, obwohl meine Intuition irgendwie verschwommen ist.$A$

Jede symmetrische Matrix hat eine Eigenwertzerlegung mit$A$

$$A = Q\text{diag}(\lambda_1,\ldots,\lambda_n)Q^T.$$

Wobei und der Vektor mit den entsprechenden Eigenvektoren als Spalten ist (richtig?).$\lambda_1 > \ldots > \lambda_n$$Q$

Im nächsten Teil verstehe ich nicht, was los ist:

Wenn wir einen Basiswechsel durchführen, , brechen die Iterationen auseinander und werden:$x^k = Q^T(w^k - w^\star)$

$$\begin{align} x_i^{k+1} &= x_i^k - \alpha \lambda_i x_i^k \\ &=(1-\alpha\lambda_i)x_i^k &= (1- \alpha\lambda_i)^{k+1}x_i^0 \end{align}$$

Umzug zurück zu unserem ursprünglichen Raum , können wir sehen , dass$w$

$$w^k - w^\star = Qx^k = \sum\limits_{i}^n = x_i^0(1-\alpha\lambda_i)^kq_i$$

Was geht hier vor sich? Wo ist die Motivation, in die Eigendomäne aufzunehmen? Was ist ? Warum betrachten wir jetzt einzelne Elemente des Vektors? Ich habe versucht, den Berechnungen zu folgen, aber hängt von was von abhängt , von dem ich dachte, wir wollten es beseitigen. Meine Frage ist, kann jemand diese wenigen Schritte mit etwas Intuition und Berechnungen erweitern? Vielen Dank.$w^k - w^\star$$x^k$$x^{k+1}$$w^{k+1}$$z^k$

In vielen mathematischen Anwendungen wird die Motivation nach Ableitung des Ergebnisses klarer. Beginnen wir also mit der Algebra.

Angenommen, wir würden GD für Iterationen ausführen . Dies gibt uns die Menge .$T$${(w_k)}_{k=1}^T$

Lassen Sie uns einen Basiswechsel durchführen:

$w^k = Qx^k + w^*$ $\iff$ $x^k = Q^T(w^k-w^*)$

Jetzt haben wir . Was können wir über sie sagen? Schauen wir uns jede Koordinate einzeln an. Indem Sie das oben Gesagte ersetzen und den Aktualisierungsschritt von GD verwenden,${(x_k)}_{k=1}^T$

$x_i^{k+1}= (Q^T(w^{k+1}-w^*))_i = (Q^T(w^k-\alpha (Aw^k-b)-w^*))_i$

Arrangieren,

$x_i^{k+1}=(Q^T(w^k-w^*))_i-\alpha \cdot (Q^T(Aw^k-b))_i$

Der erste Term ist genau . Für den zweiten Term, ersetzen wir . Dies ergibt,$x_i^k$$A=Qdiag(\lambda _1 \dots \lambda _n)Q^T$

$x_i^{k+1}=x_i^k-\alpha \lambda _i x_i^k=(1-\alpha \lambda _i)x_i^k$

Welches war ein einziger Schritt. Wiederholen, bis wir bis zu , bekommen wir$x_0$

$x_i^{k+1}=(1-\alpha \lambda _i)^{k+1}x_i^0$

All dies scheint an dieser Stelle wirklich nutzlos zu sein. Kehren wir zu unserer anfänglichen Sorge zurück, den s. Aus unserem ursprünglichen Basiswechsel wissen wir, dass . Eine andere Art, die Multiplikation der Matrix mit dem Vektor schreiben, ist . Aber wir haben oben gezeigt, dass . Wenn wir alles zusammenstecken, haben wir die gewünschte "geschlossene Form" -Formel für den GD-Aktualisierungsschritt erhalten:${w}$$w^k-w^*=Qx^k$$Q$$x^k$$\sum_i x_i^kq_i$$x_i^{k}=(1-\alpha \lambda _i)^{k}x_i^0$

$w^k-w^*=\sum_i x_i^0(1-\alpha \lambda _i)^{k} q_i$

Dies ist im Wesentlichen ein Ausdruck für den "Fehler" bei Iteration von GD (wie weit wir von der optimalen Lösung entfernt sind, ). Da wir daran interessiert sind, die Leistung von GD zu bewerten, ist dies der Ausdruck, den wir analysieren möchten. Es gibt zwei unmittelbare Beobachtungen. Das erste ist, dass dieser Term auf 0 geht, während auf unendlich geht, was natürlich eine gute Nachricht ist. Das zweite ist, dass sich der Fehler sehr gut in die einzelnen Elemente von zerlegt , was für unsere Analyse noch schöner ist. Hier zitiere ich aus dem ursprünglichen Beitrag, da ich denke, dass sie es gut erklären:$k$$w^*$$k$$x_0$

Jedes Element von ist die Komponente des Fehlers in der anfänglichen Schätzung in der Basis. Es gibt solche Fehler, und jeder dieser Fehler folgt seinem eigenen, einsamen Pfad zum Minimum und nimmt exponentiell mit einer Compoundierungsrate von . Je näher diese Zahl an 1 liegt, desto langsamer konvergiert sie.$x^0$$Q$$n$$1-\alpha \lambda_i$

Ich hoffe, dies klärt die Dinge für Sie so weit auf, dass Sie den Beitrag weiter lesen können. Es ist wirklich gut!

Ich habe dieselbe Zeitung gelesen, bin genau an derselben Stelle festgefahren und habe sie mit Hilfe der Antwort von galoosh33 durchgearbeitet .

Ich fand den Schritt einfach nicht offensichtlich:

$$\begin{equation} \begin{split} x_{i}^{k+1} & = (Q^{T}(w^{k} - w^{*}))_{i} - \alpha (Q^{T}(Aw^{k} - b))_{i} \\ & = x_{i} - \alpha \lambda_{i} x_{i}^{k} \end{split} \end{equation}$$

Für diejenigen, die die Algebra nicht wollen und nicht sofort sehen, wie wir losgeworden sind , ist es die Substitution und und die Tatsache, dass Eigenvektoren orthogonal sind .$b$$w^{k} = Qx^{k} + w^{*}$$w^{*} = A^{-1}b$$Q^{-1} = Q^{T}$

$$\begin{equation} \begin{split} (Q^{T} A w_{k} - Q^{T}b)_{i} & = (Q^{T} A Q x^{k} + Q^{T} A \overbrace{w^{*}}^{A^{-1}b} - Q^{T}b)_{i} \\ & = (\underbrace{Q^{T} Q}_{I} \text{diag}(\lambda_1, \ldots, \lambda_n) \underbrace{Q^T Q}_{I} x^{k} \underbrace{+ Q^{T} \underbrace{A A^{-1}}_{I} b - Q^{T} b}_{0})_{i} \\ & = \lambda_{i} x_{i}^{k} \end{split} \end{equation}$$

Ich werde einige Kommentare in der Sprache des maschinellen Lernens abgeben, die Sie hoffentlich zu einer hilfreichen logischen Schlussfolgerung führen.

Erstens ist das Minimieren dieses quadratischen Ziels wie das Lösen eines Problems der kleinsten Quadrate (wenn dies nicht offensichtlich ist, versuchen Sie es als Übung zu beweisen). Zweitens ist für jedes Problem der kleinsten Quadrate, wenn die Merkmale orthogonal sind, das Schätzen der Koeffizienten getrennt oder nacheinander (wie genau eine Runde des Koordinatenabfalls) gleichbedeutend mit dem gemeinsamen Schätzen. (Wenn dies nicht offensichtlich ist, nehmen wir an, dass die Merkmale orthogonal sind. Sehen Sie, dass dies bedeutet, dass diagonal sein muss? Das bedeutet, dass jeder Eintrag der Lösung nicht von den anderen abhängt.)$A$

Die Frage ist nun: Wie können wir das gleiche Problem lösen, aber mit einer Diagonalmatrix anstelle von ? Drittens ist die Norm orthogonal invariant. Wenn Sie also links oder rechts multiplizieren, was sich innerhalb der Norm befindet, mit einer orthogonalen Matrix (die als Rotation interpretiert wird), können Sie dieses Problem einfach lösen und dann diese orthogonale Transformation am zurücksetzen Ende. Da symmetrisch positiv semidefinit ist, können wir diese orthogonalen Matrizen aus der Eigenwertzerlegung von (auch bekannt als "Diagonalisieren" von ).$A$$\ell_2$$A$$A$$A$

Zurück zur Statistik: Dieser Prozess wird manchmal als Bleaching oder Pre-Whitening bezeichnet, obwohl ich glaube, dass es keinen Konsens über die Verwendung dieses Begriffs gibt.

Einfach und locker ausgedrückt , können die Spalten / Zeilen von im Eigenraum von als völlig separate und nicht verwandte Informationen betrachtet werden.$A$$A$