Statistiken und Big Data gradient-descent

8

Warum ist Newtons Methode beim maschinellen Lernen nicht weit verbreitet?

Das nervt mich schon seit einiger Zeit und ich konnte online keine zufriedenstellenden Antworten finden. Nach einer Reihe von Vorlesungen zur konvexen Optimierung scheint die Newton-Methode ein weitaus überlegener Algorithmus zu sein als die Gradientenabsenkung, um global optimale Lösungen zu finden, da die Newton-Methode eine Garantie für ihre Lösung, ihre …

132 machine-learning optimization gradient-descent hessian

3

Batch-Gefälle versus stochastisches Gefälle

Angenommen, wir haben eine Trainingsmenge ( x( i ), y( i ))(x(i),y(i))(x_{(i)}, y_{(i)}) für i = 1 , ... , mi=1,…,mi = 1, \dots, m . Angenommen, wir führen eine Art von überwachtem Lernalgorithmus für den Trainingssatz aus. Hypothesen werden dargestellt als hθ( x( i )) = θ0+ θ1X( i …

101 optimization gradient-descent sgd

6

Warum Gradientenabstieg für lineare Regression verwenden, wenn eine geschlossene mathematische Lösung verfügbar ist?

Ich nehme an den Online-Kursen für maschinelles Lernen teil und habe etwas über Gradient Descent gelernt, um die optimalen Werte in der Hypothese zu berechnen. h(x) = B0 + B1X Warum müssen wir Gradient Descent verwenden, wenn wir die Werte mit der folgenden Formel leicht finden können? Das sieht einfach …

73 regression machine-learning gradient-descent

2

Auflösen nach Regressionsparametern in geschlossener Form gegen Gradientenabstieg

In Andrew Ngs Kurs über maschinelles Lernen führt er in die lineare und logistische Regression ein und zeigt, wie die Modellparameter mithilfe des Gradientenabfalls und der Newton-Methode angepasst werden. Ich weiß, dass Gradientenabstieg in einigen Anwendungen des maschinellen Lernens (z. B. Backpropogation) nützlich sein kann, aber im allgemeineren Fall gibt …

71 regression machine-learning logistic gradient-descent

3

Warum interessieren sich Forscher für neuronale Netze für Epochen?

Eine Epoche in stochastischer Gradientenabnahme ist definiert als ein einzelner Durchgang durch die Daten. Für jedes SGD-Minibatch werden kkk Proben gezogen, der Gradient berechnet und die Parameter aktualisiert. In der Epocheneinstellung werden die Muster ersatzlos gezogen. Dies erscheint jedoch unnötig. Warum nicht jedes SGD-Minibatch so zeichnen, wie kkk zufällig aus …

69 neural-networks deep-learning gradient-descent

7

Optimierung, wenn die Kostenfunktion nur langsam evaluiert werden kann

Gradientenabstieg und viele andere Methoden sind nützlich, um lokale Minima in Kostenfunktionen zu finden. Sie können effizient sein, wenn die Kostenfunktion an jedem Punkt schnell ausgewertet werden kann, sei es numerisch oder analytisch. Ich habe eine für mich ungewöhnliche Situation. Jede Bewertung meiner Kostenfunktion ist teuer. Ich versuche, eine Reihe …

59 gradient-descent optimization bayesian-optimization

5

Adam-Optimierer mit exponentiellem Zerfall

In den meisten Tensorflow-Codes, die ich gesehen habe, wird Adam Optimizer mit einer konstanten Lernrate von 1e-4(dh 0,0001) verwendet. Der Code sieht normalerweise so aus: ...build the model... # Add the optimizer train_op = tf.train.AdamOptimizer(1e-4).minimize(cross_entropy) # Add the ops to initialize variables. These will include # the optimizer slots added …

53 neural-networks deep-learning gradient-descent tensorflow adam

1

Wie groß sollte die Chargengröße für den stochastischen Gradientenabstieg sein?

Ich verstehe, dass der stochastische Gradientenabstieg verwendet werden kann, um ein neuronales Netzwerk mithilfe von Backpropagation zu optimieren, indem jede Iteration mit einer anderen Stichprobe des Trainingsdatensatzes aktualisiert wird. Wie groß soll die Losgröße sein?

49 machine-learning neural-networks gradient-descent backpropagation

4

Was ist der Unterschied zwischen einem auf Impulsen basierenden Gefälle und einem beschleunigten Gefälle nach Nesterov?

So funktioniert der momentumbasierte Gradientenabstieg wie folgt: v = s e l f. m o m e n t u m ∗ m - l r ∗ gv=self.momentum∗m−lr∗gv=self.momentum*m-lr*g wobei die vorherigen Gewichtungsaktualisierungs sind, und g ist die aktuelle Gradient in bezug auf die Parameter p , l r ist die …

48 optimization gradient-descent

1

Unterschied zwischen GradientDescentOptimizer und AdamOptimizer (TensorFlow)?

Ich habe ein einfaches MLP in TensorFlow geschrieben, das ein XOR-Gate modelliert . So für: input_data = [[0., 0.], [0., 1.], [1., 0.], [1., 1.]] es sollte folgendes erzeugen: output_data = [[0.], [1.], [1.], [0.]] Das Netzwerk hat eine Eingangsschicht, eine versteckte Schicht und eine Ausgangsschicht mit jeweils 2, 5 …

45 machine-learning neural-networks error gradient-descent supervised-learning

1

Wie funktioniert die Adam-Methode des stochastischen Gradientenabstiegs?

Ich bin mit grundlegenden Algorithmen für die Gradientenabsenkung zum Trainieren neuronaler Netze vertraut. Ich habe die Zeitung gelesen, in der Adam vorgeschlagen wird: ADAM: EINE METHODE ZUR STOCHASTISCHEN OPTIMIERUNG . Obwohl ich (zumindest) definitiv einige Einsichten habe , scheint mir das Papier insgesamt zu hoch zu sein. Beispielsweise ist eine …

45 neural-networks optimization gradient-descent adam

1

Neuronale Netze: Gewichtsänderungsimpuls und Gewichtsabfall

Das Momentum wird verwendet, um die Schwankungen der Gewichtsänderungen während aufeinanderfolgender Iterationen zu verringern:αα\alpha wobeiE(w)ist die Fehlerfunktionw- der Vektor der Gewichte,η- Lernrate.Δωi(t+1)=−η∂E∂wi+αΔωi(t),Δωi(t+1)=−η∂E∂wi+αΔωi(t),\Delta\omega_i(t+1) = - \eta\frac{\partial E}{\partial w_i} + \alpha \Delta \omega_i(t),E(w)E(w)E({\bf w})ww{\bf w}ηη\eta Gewichtsabnahme bestraft die Gewichtsveränderungen:λλ\lambda Δωi(t+1)=−η∂E∂wi−ληωiΔωi(t+1)=−η∂E∂wi−ληωi\Delta\omega_i(t+1) =- \eta\frac{\partial E}{\partial w_i} - \lambda\eta\omega_i Die Frage ist, ob es sinnvoll …

41 neural-networks optimization regularization gradient-descent

4

Wie löst die geradlinige Aktivierungsfunktion das Problem des verschwindenden Gradienten in neuronalen Netzen?

Ich fand eine gleichgerichtete Lineareinheit (ReLU), die an mehreren Stellen als Lösung für das Problem des verschwindenden Gradienten für neuronale Netze gelobt wurde . Das heißt, man verwendet max (0, x) als Aktivierungsfunktion. Wenn die Aktivierung positiv ist, ist dies offensichtlich besser als beispielsweise die Sigma-Aktivierungsfunktion, da ihre Herleitung immer …

40 machine-learning neural-networks deep-learning gradient-descent

2

Wer hat die stochastische Gefällestufe erfunden?

Ich versuche die Geschichte des Gradientenabstiegs und des stochastischen Gradientenabstiegs zu verstehen . Gradientenabfallsaktualisierung wurde erfunden Cauchy in 1847. Méthode Générale pour la résolution des Systèmes d'GLEICHUNGEN simultanées . S. 536–538 Weitere Informationen finden Sie hier . Seitdem haben sich Gradientenabstiegsmethoden weiterentwickelt und ich bin mit ihrer Geschichte nicht vertraut. …

36 references gradient-descent history sgd

2

Benötigen wir einen Gradientenabstieg, um die Koeffizienten eines linearen Regressionsmodells zu finden?

Ich habe versucht, maschinelles Lernen mit dem Coursera-Material zu erlernen . In dieser Vorlesung verwendet Andrew Ng den Algorithmus der Gradientenabnahme, um die Koeffizienten des linearen Regressionsmodells zu ermitteln, mit denen die Fehlerfunktion (Kostenfunktion) minimiert wird. Benötigen wir für die lineare Regression einen Gradientenabstieg? Es scheint, dass ich die Fehlerfunktion …

31 regression machine-learning linear-model gradient-descent

Als «gradient-descent» getaggte Fragen