Warum ist die De-facto-Standard-Sigmoid-Funktion in (nicht-tiefen) neuronalen Netzwerken und logistischen Regressionen so beliebt?$\frac{1}{1+e^{-x}}$

Warum verwenden wir nicht viele der anderen ableitbaren Funktionen mit einer schnelleren Rechenzeit oder einem langsameren Zerfall (so dass der Gradient weniger verschwindet)? In Wikipedia gibt es nur wenige Beispiele für Sigmoidfunktionen . Einer meiner Favoriten mit langsamer Abnahme und schneller Berechnung ist .$\frac{x}{1+|x|}$

BEARBEITEN

Die Frage unterscheidet sich von der umfassenden Liste der Aktivierungsfunktionen in neuronalen Netzen mit Vor- / Nachteilen, da mich nur das Warum und nur das Sigma interessiert.

Ich zitiere mich aus dieser Antwort auf eine andere Frage:

In Abschnitt 4.2 von Mustererkennung und maschinelles Lernen (Springer 2006) zeigt Bishop, dass das Logit natürlich als die Form der posterioren Wahrscheinlichkeitsverteilung in einer Bayes'schen Behandlung der Zwei-Klassen-Klassifikation entsteht. Anschließend zeigt er, dass dies auch für diskret verteilte Features gilt, sowie für eine Teilmenge der Familie der Exponentialverteilungen. Für die Klassifizierung mehrerer Klassen wird das Logit auf die normalisierte Exponential- oder Softmax-Funktion verallgemeinert.

Dies erklärt, warum dieses Sigma in der logistischen Regression verwendet wird.

In Bezug auf neuronale Netze wird in diesem Blogbeitrag erläutert, wie unterschiedliche Nichtlinearitäten, einschließlich des Logits / Softmax und des Probits, die in neuronalen Netzen verwendet werden, statistisch interpretiert und damit motiviert werden können. Die zugrunde liegende Idee ist, dass ein mehrschichtiges neuronales Netzwerk als eine Hierarchie verallgemeinerter linearer Modelle betrachtet werden kann; Aktivierungsfunktionen sind demnach Verknüpfungsfunktionen, die wiederum unterschiedlichen Verteilungsannahmen entsprechen.

Ein Grund, warum diese Funktion "natürlicher" erscheint als andere, ist, dass es sich zufällig um die Umkehrung des kanonischen Parameters der Bernoulli-Verteilung handelt: (Die Funktion vonpinnerhalb des Exponenten wird als kanonischer Parameter bezeichnet.)

Eine überzeugendere Rechtfertigung könnte die Informationstheorie sein, in der die Sigmoidfunktion als Maximum-Entropie-Modell hergeleitet werden kann . Grob gesagt nimmt die Sigmoidfunktion eine minimale Struktur an und spiegelt unseren allgemeinen Unkenntnisstand über das zugrunde liegende Modell wider.

Ich habe mich diese Frage seit Monaten gestellt. Die Antworten auf CrossValidated und Quora zeigen alle nette Eigenschaften der logistischen Sigmoid-Funktion, aber es scheint, als hätten wir diese Funktion klug erraten. Was ich vermisst habe, war die Rechtfertigung für die Wahl. Ich habe endlich einen in Abschnitt 6.2.2.2 des "Deep Learning" -Buches von Bengio (2016) gefunden . In Meinen Eigenen Worten:

Kurz gesagt, wir möchten, dass der Logarithmus der Modellausgabe für eine gradientenbasierte Optimierung der Log-Wahrscheinlichkeit der Trainingsdaten geeignet ist.

Motivation

• Wir wollen ein lineares Modell, aber wir können $z = w^T x + b$ direkt als $z \in (-\infty, +\infty)$ .
• Für die Klassifizierung ist es sinnvoll, die Bernoulli-Verteilung anzunehmen und ihren Parameter $\theta$ in $P(Y=1) = \theta$ modellieren .
• Also müssen wir $z$ von $(-\infty, +\infty)$ auf $[0, 1]$ abbilden , um die Klassifizierung durchzuführen.

Warum die logistische Sigmoidfunktion?

Das Abschneiden von $z$ mit $P(Y=1|z) = max\{0, min\{1, z\}\}$ ergibt einen Nullgradienten für $z$ außerhalb von $[0, 1]$ . Wir brauchen einen starken Gradienten, wenn die Vorhersage des Modells falsch ist, weil wir die logistische Regression mit dem Gradientenabstieg lösen. Für die logistische Regression gibt es keine geschlossene Lösung.

Die logistische Funktion hat die nette Eigenschaft, einen konstanten Gradienten zu asymptotisieren, wenn die Vorhersage des Modells falsch ist, da wir die Maximum-Likelihood-Schätzung verwenden, um das Modell anzupassen. Dies ist unten gezeigt:

Für numerische Vorteile kann die Maximum-Likelihood-Schätzung durchgeführt werden, indem die negative Log-Likelihood der Trainingsdaten minimiert wird. Unsere Kostenfunktion lautet also:

$P(Y=0 | z) = 1-P(Y=1|z)$$Y=1$$P(Y=1 | z)$$z = w^T x + b$

$f$$z$$P(Y=1 | z)$

• $\forall z \in \mathbb{R}: f(z) \in [0, 1]$
• $f(0) = 0.5$
• $f$$(0, 0.5)$$f(-x) = 1-f(x)$
• $f$

$f(z) = \frac{1}{1 + e^{-z}}$$f(z) = 0.5 + 0.5 \frac{z}{1+|z|}$$f(z) = \frac{1}{1 + e^{-z}}$

$Y=1$

$P(Y=1|z) = \frac{1}{1 + e^{-z}}$$Y=1$$m=1$

$-z$

• $z$$Y=1$$\log(1 + e^z)$$z$$z$$-z$
• $z$$|z|$$Y=1$$\log(1 + e^z)$$0$$z$$-z$$z$$-1$$z$Es findet keine Sättigung statt, die zu verschwindenden Verläufen führen würde.

$Y=0$

$Y=1$$Y=0$

$J(z)$$Y=1$

$Y=0$

Alternativen

$\frac{z}{1+|z|}$$[0,1]$$P(Y=1|z) = 0.5 + 0.5 \frac{z}{1+|z|}$

$Y=1$

$J(z) = - \log (0.5 + 0.5 \frac{z}{1+|z|})$

was so aussieht:

$z \rightarrow - \infty$

Da in der ursprünglichen Frage das Problem des abklingenden Gradienten erwähnt wurde, möchte ich nur hinzufügen, dass für Zwischenebenen (bei denen Sie Aktivierungen nicht als Klassenwahrscheinlichkeiten oder Regressionsausgaben interpretieren müssen) andere Nichtlinearitäten häufig Sigmoidfunktionen vorgezogen werden. Die bekanntesten sind Gleichrichterfunktionen (wie bei ReLUs ), die über den positiven Bereich linear und über den negativen Bereich null sind. Einer ihrer Vorteile besteht darin, dass sie dem Problem des abklingenden Gradienten weniger ausgesetzt sind, da die Ableitung über den positiven Bereich konstant ist. ReLUs sind so populär geworden, dass Sigmoide wahrscheinlich nicht mehr als De-facto-Standard bezeichnet werden können.

Glorot et al. (2011) . Neuronale Netze mit tiefem Gleichrichter