Statistiken und Big Data adam

5

Adam-Optimierer mit exponentiellem Zerfall

In den meisten Tensorflow-Codes, die ich gesehen habe, wird Adam Optimizer mit einer konstanten Lernrate von 1e-4(dh 0,0001) verwendet. Der Code sieht normalerweise so aus: ...build the model... # Add the optimizer train_op = tf.train.AdamOptimizer(1e-4).minimize(cross_entropy) # Add the ops to initialize variables. These will include # the optimizer slots added …

53 neural-networks deep-learning gradient-descent tensorflow adam

1

Wie funktioniert die Adam-Methode des stochastischen Gradientenabstiegs?

Ich bin mit grundlegenden Algorithmen für die Gradientenabsenkung zum Trainieren neuronaler Netze vertraut. Ich habe die Zeitung gelesen, in der Adam vorgeschlagen wird: ADAM: EINE METHODE ZUR STOCHASTISCHEN OPTIMIERUNG . Obwohl ich (zumindest) definitiv einige Einsichten habe , scheint mir das Papier insgesamt zu hoch zu sein. Beispielsweise ist eine …

45 neural-networks optimization gradient-descent adam

3

Was ist der Grund, warum der Adam Optimizer für den Wert seiner Hyperparameter als robust angesehen wird?

Ich habe über den Adam-Optimierer für Deep Learning gelesen und bin in dem neuen Buch Deep Learning von Bengio, Goodfellow und Courville auf folgenden Satz gestoßen: Adam wird allgemein als ziemlich robust gegenüber der Auswahl von Hyperparametern angesehen, obwohl die Lernrate manchmal von der vorgeschlagenen Standardeinstellung geändert werden muss. Wenn …

24 neural-networks deep-learning optimization hyperparameter adam

2

Erklärung der Spitzen bei Trainingsverlust im Vergleich zu Iterationen mit Adam Optimizer

Ich trainiere ein neuronales Netzwerk mit i) SGD und ii) Adam Optimizer. Bei Verwendung von normalem SGD erhalte ich eine glatte Kurve zwischen Trainingsverlust und Iteration (siehe unten) (die rote). Wenn ich jedoch den Adam Optimizer verwendet habe, weist die Trainingsverlustkurve einige Spitzen auf. Was ist die Erklärung für diese …

15 neural-networks deep-learning adam

1

Warum ist es wichtig, einen Bias-Korrektur-Term für den Adam-Optimierer für Deep Learning einzufügen?

Ich habe über den Adam-Optimierer für Deep Learning gelesen und bin in dem neuen Buch Deep Learning von Begnio, Goodfellow und Courtville auf folgenden Satz gestoßen: Adam schließt Vorspannungskorrekturen an den Schätzungen sowohl der Momente erster Ordnung (dem Impulsausdruck) als auch der (nicht zentrierten) Momente zweiter Ordnung ein, um ihre …

14 machine-learning neural-networks optimization conv-neural-network adam

1

RMSProp und Adam gegen SGD

Ich führe Experimente mit dem EMNIST-Validierungssatz unter Verwendung von Netzwerken mit RMSProp, Adam und SGD durch. Ich erreiche eine Genauigkeit von 87% mit SGD (Lernrate von 0,1) und Dropout (0,1 Dropout Prob) sowie L2-Regularisierung (1e-05-Strafe). Wenn ich die gleiche exakte Konfiguration mit RMSProp und Adam sowie die anfängliche Lernrate von …

11 machine-learning optimization sgd adam

Als «adam» getaggte Fragen