Programmierung softmax

22

So implementieren Sie die Softmax-Funktion in Python

Aus der Deep-Learning-Klasse der Udacity ist der Softmax von y_i einfach das Exponential geteilt durch die Summe der Exponentiale des gesamten Y-Vektors: Wo S(y_i)ist die Softmax-Funktion von y_iund eist die Exponentialfunktion und jist die Nr. von Spalten im Eingabevektor Y. Ich habe folgendes versucht: import numpy as np def softmax(x): …

245 python numpy machine-learning logistic-regression softmax

9

Warum Softmax im Gegensatz zur Standardnormalisierung verwenden?

In der Ausgabeschicht eines neuronalen Netzwerks ist es typisch, die Softmax-Funktion zu verwenden, um eine Wahrscheinlichkeitsverteilung zu approximieren: Die Berechnung ist aufgrund der Exponenten teuer. Warum nicht einfach eine Z-Transformation durchführen, damit alle Ausgänge positiv sind, und dann normalisieren, indem alle Ausgänge durch die Summe aller Ausgänge dividiert werden?

159 math neural-network softmax

3

Was ist der Unterschied zwischen sparse_softmax_cross_entropy_with_logits und softmax_cross_entropy_with_logits?

Ich bin kürzlich auf tf.nn.sparse_softmax_cross_entropy_with_logits gestoßen und kann nicht herausfinden, was der Unterschied zu tf.nn.softmax_cross_entropy_with_logits ist . Der einzige Unterschied ist, dass Trainingsvektoren ysein one-hot kodierten bei der Verwendung sparse_softmax_cross_entropy_with_logits? Beim Lesen der API konnte ich keinen anderen Unterschied feststellen als softmax_cross_entropy_with_logits. Aber warum brauchen wir dann die zusätzliche Funktion? …

111 neural-network tensorflow softmax cross-entropy

Als «softmax» getaggte Fragen