Statistiken und Big Data backpropagation

6

Ist es möglich, ein neuronales Netzwerk ohne Backpropagation zu trainieren?

Viele Bücher und Tutorials zu neuronalen Netzen verbringen viel Zeit mit dem Backpropagation-Algorithmus, der im Wesentlichen ein Werkzeug zur Berechnung des Gradienten darstellt. Nehmen wir an, wir bauen ein Modell mit ~ 10K Parametern / Gewichten. Ist es möglich, die Optimierung mit einigen gradientenfreien Optimierungsalgorithmen durchzuführen? Ich denke, die Berechnung …

94 machine-learning neural-networks optimization backpropagation

1

Wie groß sollte die Chargengröße für den stochastischen Gradientenabstieg sein?

Ich verstehe, dass der stochastische Gradientenabstieg verwendet werden kann, um ein neuronales Netzwerk mithilfe von Backpropagation zu optimieren, indem jede Iteration mit einer anderen Stichprobe des Trainingsdatensatzes aktualisiert wird. Wie groß soll die Losgröße sein?

49 machine-learning neural-networks gradient-descent backpropagation

1

Inwiefern unterscheidet sich softmax_cross_entropy_with_logits von softmax_cross_entropy_with_logits_v2?

Im Einzelnen wundere ich mich wohl über diese Aussage: Zukünftige Hauptversionen von TensorFlow ermöglichen es, dass Farbverläufe standardmäßig in die Beschriftungen fließen, die auf Backprop eingegeben werden. Welches wird angezeigt, wenn ich benutze tf.nn.softmax_cross_entropy_with_logits. In der gleichen Nachricht fordert es mich auf, einen Blick darauf zu werfen tf.nn.softmax_cross_entropy_with_logits_v2. Ich habe …

41 machine-learning supervised-learning tensorflow backpropagation

6

Rückausbreitung mit Softmax / Cross Entropy

Ich versuche zu verstehen, wie Backpropagation für eine Softmax / Cross-Entropy-Ausgabeebene funktioniert. Die Kreuzentropiefehlerfunktion ist E(t,o)=−∑jtjlogojE(t,o)=−∑jtjlog⁡ojE(t,o)=-\sum_j t_j \log o_j mit und als Ziel bzw. Ausgabe bei Neuron . Die Summe befindet sich über jedem Neuron in der Ausgabeschicht. selbst ist das Ergebnis der Softmax-Funktion:tttooojjjojojo_j oj=softmax(zj)=ezj∑jezjoj=softmax(zj)=ezj∑jezjo_j=softmax(z_j)=\frac{e^{z_j}}{\sum_j e^{z_j}} Wieder ist die Summe …

40 backpropagation derivative softmax cross-entropy

5

Backpropagation vs. genetischer Algorithmus für das Training des neuronalen Netzwerks

Ich habe ein paar Artikel gelesen, in denen die Vor- und Nachteile der einzelnen Methoden erörtert wurden. Einige argumentieren, dass GA keine Verbesserung bei der Suche nach der optimalen Lösung bringt, während andere zeigen, dass sie effektiver ist. Es scheint, dass GA in der Literatur im Allgemeinen bevorzugt wird (obwohl …

34 neural-networks genetic-algorithms backpropagation

4

Warum ist Tanh als Aktivierungsfunktion fast immer besser als Sigmoid?

In Andrew Ngs Kurs über Neuronale Netze und tiefes Lernen über Coursera sagt er, dass die Verwendung von fast immer der Verwendung von vorzuziehen ist .tanhtanhtanhsigmoidsigmoidsigmoid Der Grund, den er angibt, ist, dass die Ausgaben mit center um 0 statt mit 's 0,5 erfolgen, und dies "erleichtert das Lernen für …

33 machine-learning neural-networks backpropagation sigmoid-curve

7

Gefahr, dass alle Anfangsgewichte in Backpropagation auf Null gesetzt werden

Warum ist es gefährlich, Gewichte mit Nullen zu initialisieren? Gibt es ein einfaches Beispiel, das dies demonstriert?

30 neural-networks backpropagation

1

Warum sind nicht nullzentrierte Aktivierungsfunktionen ein Problem bei der Rückübertragung?

Ich habe hier folgendes gelesen : Sigmoid-Ausgänge sind nicht nullzentriert . Dies ist unerwünscht, da Neuronen in späteren Verarbeitungsebenen in einem neuronalen Netzwerk (dazu bald mehr) Daten empfangen würden, die nicht nullzentriert sind. Dies hat Auswirkungen auf die Dynamik beim Gradientenabstieg, denn wenn die in ein Neuron eingehenden Daten immer …

26 neural-networks deep-learning backpropagation

1

Gradient Backpropagation über ResNet-Skip-Verbindungen

Ich bin neugierig, wie Gradienten mithilfe von ResNet-Modulen / Überspringverbindungen über ein neuronales Netzwerk zurückgewonnen werden. Ich habe ein paar Fragen zu ResNet gesehen (z. B. Neuronales Netzwerk mit Sprungschichtverbindungen ), aber diese Frage bezieht sich speziell auf die Rückübertragung von Verläufen während des Trainings. Die grundlegende Architektur ist hier: …

22 machine-learning neural-networks conv-neural-network gradient-descent backpropagation

3

Warum Gradientenabstieg bei neuronalen Netzen verwenden?

Wenn ein neuronales Netzwerk unter Verwendung des Back-Propagation-Algorithmus trainiert wird, wird das Gradientenabstiegsverfahren verwendet, um die Gewichtsaktualisierungen zu bestimmen. Meine Frage ist: Anstatt die Gradientenabstiegsmethode zu verwenden, um den Minimalpunkt in Bezug auf ein bestimmtes Gewicht langsam zu lokalisieren, warum setzen wir nicht einfach die Ableitung und finde den Wert …

22 neural-networks gradient-descent backpropagation

2

Warum sollten Sie in neuronalen Netzen Gradientenmethoden anstelle anderer Metaheuristiken verwenden?

Warum werden beim Training tiefer und flacher neuronaler Netze im Gegensatz zu anderen Metaheuristiken häufig Gradientenmethoden (z. B. Gradientenabstieg, Nesterov, Newton-Raphson) verwendet? Mit Metaheuristik meine ich Methoden wie simuliertes Tempern, Optimierung von Ameisenkolonien usw., die entwickelt wurden, um zu vermeiden, dass sie in einem lokalen Minimum hängen bleiben.

20 neural-networks optimization deep-learning gradient-descent backpropagation

2

Warum funktioniert die Backpropagation nicht, wenn Sie die Wertigkeiten mit demselben Wert initialisieren?

Warum funktioniert die Backpropagation nicht, wenn Sie alle Gewichte mit demselben Wert initialisieren (z. B. 0,5), aber wenn Sie Zufallszahlen angeben, funktioniert sie einwandfrei? Sollte der Algorithmus den Fehler nicht berechnen und von dort aus arbeiten, obwohl die Gewichte anfangs gleich sind?

20 machine-learning neural-networks backpropagation

2

Backpropagation-Algorithmus

Ich habe eine leichte Verwirrung über den Backpropagation- Algorithmus, der in Multilayer Perceptron (MLP) verwendet wird. Der Fehler wird durch die Kostenfunktion korrigiert. Bei der Backpropagation versuchen wir, das Gewicht der ausgeblendeten Ebenen anzupassen. Den Ausgabefehler kann ich nachvollziehen, also e = d - y[ohne die Indizes]. Die Fragen sind: …

19 machine-learning neural-networks backpropagation

1

Summe oder Durchschnitt der Gradienten in (Mini) Batch-Gradienten anständig?

Als ich Mini Batch Gradient Decent implementiert habe, habe ich nur die Gradienten aller Beispiele im Trainingsbatch gemittelt. Allerdings ist mir aufgefallen, dass jetzt die optimale Lernrate deutlich höher ist als bei anständigen Online-Gefällen. Meiner Intuition nach ist dies so, weil der gemittelte Gradient weniger verrauscht ist und somit schneller …

15 neural-networks gradient-descent backpropagation

3

Warum sich in einem RNN zurück durch die Zeit ausbreiten?

In einem wiederkehrenden neuronalen Netzwerk würden Sie normalerweise die Weiterleitung über mehrere Zeitschritte durchführen, das Netzwerk "ausrollen" und dann die Weiterleitung über die Folge von Eingaben zurückführen. Warum sollten Sie nicht einfach die Gewichte nach jedem einzelnen Schritt in der Sequenz aktualisieren? (Das entspricht einer Trunkierungslänge von 1, es gibt …

14 time-series neural-networks backpropagation rnn

Als «backpropagation» getaggte Fragen