Als «cross-entropy» getaggte Fragen

In der folgenden TensorFlow-Funktion müssen wir die Aktivierung künstlicher Neuronen in der letzten Schicht füttern. Das verstehe ich. Aber ich verstehe nicht, warum es Logits heißt? Ist das nicht eine mathematische Funktion? loss_function = tf.nn.softmax_cross_entropy_with_logits( logits = last_layer, labels = target_output )

250 tensorflow  machine-learning  neural-network  deep-learning  cross-entropy 

Ich bin kürzlich auf tf.nn.sparse_softmax_cross_entropy_with_logits gestoßen und kann nicht herausfinden, was der Unterschied zu tf.nn.softmax_cross_entropy_with_logits ist . Der einzige Unterschied ist, dass Trainingsvektoren ysein one-hot kodierten bei der Verwendung sparse_softmax_cross_entropy_with_logits? Beim Lesen der API konnte ich keinen anderen Unterschied feststellen als softmax_cross_entropy_with_logits. Aber warum brauchen wir dann die zusätzliche Funktion? …

111 neural-network  tensorflow  softmax  cross-entropy 

Ich weiß, dass es viele Erklärungen dafür gibt, was Kreuzentropie ist, aber ich bin immer noch verwirrt. Ist es nur eine Methode, um die Verlustfunktion zu beschreiben? Können wir den Gradientenabstiegsalgorithmus verwenden, um das Minimum mithilfe der Verlustfunktion zu finden?

92 machine-learning  cross-entropy 

Klassifizierungsprobleme wie die logistische Regression oder die multinomiale logistische Regression optimieren einen entropieübergreifenden Verlust. Normalerweise folgt die Kreuzentropieschicht der Softmax- Schicht, die eine Wahrscheinlichkeitsverteilung erzeugt. Im Tensorflow gibt es mindestens ein Dutzend verschiedener Kreuzentropieverlustfunktionen : tf.losses.softmax_cross_entropy tf.losses.sparse_softmax_cross_entropy tf.losses.sigmoid_cross_entropy tf.contrib.losses.softmax_cross_entropy tf.contrib.losses.sigmoid_cross_entropy tf.nn.softmax_cross_entropy_with_logits tf.nn.sigmoid_cross_entropy_with_logits ... Welches funktioniert nur für die binäre Klassifizierung …

83 python  tensorflow  neural-network  logistic-regression  cross-entropy