Ich führe Experimente mit dem EMNIST-Validierungssatz unter Verwendung von Netzwerken mit RMSProp, Adam und SGD durch. Ich erreiche eine Genauigkeit von 87% mit SGD (Lernrate von 0,1) und Dropout (0,1 Dropout Prob) sowie L2-Regularisierung (1e-05-Strafe). Wenn ich die gleiche exakte Konfiguration mit RMSProp und Adam sowie die anfängliche Lernrate von 0,001 teste, erreiche ich eine Genauigkeit von 85% und eine deutlich weniger glatte Trainingskurve. Ich weiß nicht, wie ich dieses Verhalten erklären soll. Was kann der Grund für die mangelnde Glätte in der Trainingskurve und die geringere Genauigkeit und höhere Fehlerraten sein?
Dies hängt vom Netzwerk ab. Können Sie uns Details zum Netzwerk zeigen? Können Sie auch die Lernkurven angeben?
—
Memming
Dies ist ein Netzwerk mit 5 Schichten (Dropout, Affine, ELU in jeder Schicht), die wie folgt eingerichtet sind: 150 verborgene Dimensionen, verwendete ELU-Aktivierungsfunktion, 0,1 Lernrate für SGD, 0,001 Lernrate für RMS und Adam, L2-Regularisierung mit 1e -05 Strafe, Ausfall mit 0,1 Ausschlusswahrscheinlichkeit.
—
Alk
Und wenn Sie "genau dieselbe Konfiguration ... anfängliche Lernrate von 0,001" sagen, meinen Sie damit, dass Sie eine andere Lernrate verwendet haben oder zwei Experimente durchgeführt haben: eines mit derselben Lernrate und eines mit einer anderen? Es kann von der tatsächlichen Software abhängen, welche Parameter standardmäßig verwendet werden.
—
Wayne
Also habe ich 0,1 für SGD und 0,001 für Adam und RMSProp verwendet. Dies liegt daran, dass Adam und RMSProp mit einer Lernrate von 0,1 mit einer Genauigkeit von 60% schlecht abschnitten. Außerdem ist 0,001 der empfohlene Wert in der Arbeit über Adam.
—
Alk
Sie sollten Lernkurven veröffentlichen und angeben, ob Sie Fehler an Test- oder Trainingsdaten messen.
—
Jakub Bartczuk