lokale Minima gegen Sattelpunkte beim Tiefenlernen

Ich hörte Andrew Ng (in einem Video, das ich leider nicht mehr finden kann) darüber sprechen, wie sich das Verständnis der lokalen Minima bei tiefen Lernproblemen dahingehend verändert hat, dass sie jetzt als weniger problematisch angesehen werden, weil sie sich in hochdimensionalen Räumen befinden (auf die man in trifft) Kritische Punkte sind eher Sattelpunkte oder Plateaus als lokale Minima.

Ich habe Papiere gesehen (zB dieses ), in denen Annahmen diskutiert werden, wonach "jedes lokale Minimum ein globales Minimum ist". Diese Annahmen sind alle eher technisch, aber nach meinem Verständnis neigen sie dazu, dem neuronalen Netzwerk eine Struktur aufzuerlegen, die es etwas linear macht.

Ist es eine berechtigte Behauptung, dass beim Deep Learning (einschließlich nichtlinearer Architekturen) Plateaus wahrscheinlicher sind als lokale Minima? Und wenn ja, steckt dahinter eine (möglicherweise mathematische) Intuition?

Gibt es etwas Besonderes an Deep Learning und Sattelpunkten?

— oW_
quelle

Wenn es um die mathematische Intuition geht, warum ein Sattelpunkt wahrscheinlicher als ein lokales Minimum ist, würde ich ihn in Bezug auf die Merkmale betrachten. Um ein lokales Minimum zu sein, muss es in jede Richtung ein lokales Minimum sein. Im Gegensatz dazu muss für einen Sattelpunkt nur eine Richtung anders sein als die anderen. Es ist viel wahrscheinlicher, dass sich ein oder mehrere Personen anders verhalten als die anderen, verglichen mit dem gleichen Verhalten in alle Richtungen.

— Paul

danke, jetzt wo du es sagst, ist es irgendwie offensichtlich ... hier ist eine interessante Diskussion über das Thema

— oW_

Andrew Ng hat ein Video zu "Das Problem der lokalen Minima" in Woche 2 seines Coursera-Kurses "Verbessern tiefer neuronaler Netze: Hyperparametertuning, Regularisierung und Optimierung". Vielleicht ist es der, den Sie suchen.

— 22.

Schauen Sie sich hier um

— Medien

Antworten:

Dies ist nur ein Versuch, meine Intuition zu vermitteln, dh keine Strenge. Die Sache mit Sattelpunkten ist, dass sie eine Art Optimum sind, das eine Kombination von Minima und Maxima kombiniert. Da die Anzahl der Dimensionen beim tiefen Lernen so groß ist, ist die Wahrscheinlichkeit, dass ein Optimum nur aus einer Kombination von Minima besteht, sehr gering. Dies bedeutet, dass es selten ist, in einem lokalen Minimum stecken zu bleiben. Bei der Gefahr einer zu starken Vereinfachung ist es schwieriger, in einer Sattelspitze zu stecken, weil Sie eine der Dimensionen herunterrutschen können. Ich denke, das Andrew Ng-Video, auf das Sie sich beziehen, stammt aus dem Coursera-Kurs über Deep Learning von ihm.

— user41985
quelle

Lassen Sie mich eine Erklärung geben, die auf multivariater Rechnung basiert. Wenn Sie einen multivariaten Kurs absolviert haben, haben Sie gehört, dass bei einem kritischen Punkt (Punkt, an dem der Gradient Null ist) die Bedingung, dass dieser kritische Punkt ein Minimum ist, darin besteht, dass die hessische Matrix positiv bestimmt ist. Da der Hessische eine symmetrische Matrix ist, können wir ihn diagonalisieren. Wenn wir die dem Hessischen entsprechende Diagonalmatrix schreiben als: das Hessische als positiv bestimmt äquivalent zu .

D = [\begin{matrix} d_{1} \\ ⋱ \\ d_{n} \end{matrix}]

$D = \begin{bmatrix} d_{1} & & \\ & \ddots & \\ & & d_{n} \end{bmatrix}$

d_{1} > 0, \dots, d_{n} > 0

$d_1 > 0, \dots, d_n>0$

Lassen Sie uns nun über Funktionen für tiefe Lernkosten nachdenken. Deep-Learning-Kostenfunktionen hängen in sehr komplizierter Weise von vielen Parametern ab, sodass der hessische Ausdruck selbst kompliziert ist. Aus diesem Grund können wir dass die Werte von nicht auf negative oder positive Werte ausgerichtet sind. Aus diesem Grund kann bei jedem kritischen Punkt angenommen werden, dass die Wahrscheinlichkeit, dass jeder Wert positiv ist, beträgt . Darüber hinaus ist anzunehmen, dass die Werte von aufgrund der hohen Nichtlinearität der hessischen Matrix nicht leicht von den Werten von abhängen , so dass wir die Wahrscheinlichkeiten, dass sie positiv sind, als unabhängige Ereignisse betrachten. $d_1,\dots,d_n$ $d_i$ $1/2$ $d_i$ $d_j$

Aus diesem Grund ist die Wahrscheinlichkeit, dass es sich bei einem kritischen Punkt um ein Minimum handelt, wie folgt:

P (d_{1} > 0, \dots, d_{n} > 0) = P (d_{1} > 0) \cdot \dots \cdot P (d_{n} > 0) = \frac{1}{2^{n}}

$P(d_1 > 0, \dots, d_n > 0) = P(d_1 > 0)\cdot \cdots \cdot P(d_n > 0) = \frac{1}{2^n}$

Die Wahrscheinlichkeit, dass ein kritischer Punkt ein Minimum darstellt, nimmt exponentiell mit der Dimension des Eingaberaums ab. In Deep Learning kann dieser Bereich von 1000 bis reichen , und in beiden Fällen ist 1/2 lächerlich klein. Jetzt sind wir überzeugt, dass es angesichts eines kritischen Punktes, auf den wir stoßen, sehr unwahrscheinlich ist, dass es sich um ein Minimum handelt. $10^8$ $1/2^n$

Aber was ist mit Maxima?

Die Maxima einer Funktion sind die Minima minus der Funktion. Aus diesem Grund können alle zuvor verwendeten Argumente verwendet werden, um die Kostenfunktion abzusenken, und wir schließen daraus, dass jeder kritische Punkt mit einer Wahrscheinlichkeit von maximal ist. $1/2 ^n$

Aus diesem Grund ist bei einem kritischen Punkt die Wahrscheinlichkeit, dass es sich um einen Sattelpunkt handelt,

P (s a d d l e) = 1 - P (m a x i m u m) - P (m i n i m u m) = 1 - \frac{1}{2^{n}} - \frac{1}{2^{n}} = 1 - \frac{1}{2^{n - 1}}

$P(saddle) = 1 - P(maximum) - P(minimum) = 1 - \frac{1}{2^n} - \frac{1}{2^n} = 1 - \frac{1}{2^{n-1}}$

Welches ist sehr nahe an 1, wenn groß genug ist (was typischerweise in Deep Learning ist). $n$

— David Masip
quelle