Als «cross-entropy» getaggte Fragen

5
Welche Verlustfunktion für Klassifizierungsaufgaben mit mehreren Klassen und mehreren Markierungen in neuronalen Netzen?
Ich trainiere ein neuronales Netzwerk, um eine Menge von Objekten in n-Klassen zu klassifizieren. Jedes Objekt kann gleichzeitig mehreren Klassen angehören (Multi-Class, Multi-Label). Ich habe gelesen, dass bei Problemen mit mehreren Klassen generell empfohlen wird, anstelle von mse Softmax und kategoriale Kreuzentropie als Verlustfunktion zu verwenden, und ich verstehe mehr …
6
Rückausbreitung mit Softmax / Cross Entropy
Ich versuche zu verstehen, wie Backpropagation für eine Softmax / Cross-Entropy-Ausgabeebene funktioniert. Die Kreuzentropiefehlerfunktion ist E(t,o)=−∑jtjlogojE(t,o)=−∑jtjlog⁡ojE(t,o)=-\sum_j t_j \log o_j mit und als Ziel bzw. Ausgabe bei Neuron . Die Summe befindet sich über jedem Neuron in der Ausgabeschicht. selbst ist das Ergebnis der Softmax-Funktion:tttooojjjojojo_j oj=softmax(zj)=ezj∑jezjoj=softmax(zj)=ezj∑jezjo_j=softmax(z_j)=\frac{e^{z_j}}{\sum_j e^{z_j}} Wieder ist die Summe …
1
Warum verwenden wir die Kullback-Leibler-Divergenz anstatt die Entropie in der t-SNE-Zielfunktion zu kreuzen?
In meinen Augen ist die KL-Abweichung von der Probenverteilung zur wahren Verteilung einfach der Unterschied zwischen Kreuzentropie und Entropie. Warum verwenden wir die Kreuzentropie als Kostenfunktion in vielen maschinellen Lernmodellen, verwenden aber die Kullback-Leibler-Divergenz in t-sne? Gibt es einen Unterschied in der Lerngeschwindigkeit?
3
Maschinelles Lernen: Soll ich für binäre Vorhersagen eine kategoriale Kreuzentropie oder einen binären Kreuzentropieverlust verwenden?
Zunächst wurde mir klar, dass ich, wenn ich binäre Vorhersagen durchführen muss, mindestens zwei Klassen durch Ausführen einer One-Hot-Codierung erstellen muss. Ist das richtig? Gilt die binäre Kreuzentropie jedoch nur für Vorhersagen mit nur einer Klasse? Wenn ich einen kategorialen Cross-Entropy-Verlust verwenden würde, der normalerweise in den meisten Bibliotheken (wie …
2
Warum ist der mittlere quadratische Fehler die Kreuzentropie zwischen der empirischen Verteilung und einem Gaußschen Modell?
In 5.5, Deep Learning (von Ian Goodfellow, Yoshua Bengio und Aaron Courville) heißt es: Jeder Verlust, der aus einer negativen logarithmischen Wahrscheinlichkeit besteht, ist eine Kreuzentropie zwischen der empirischen Verteilung, die durch den Trainingssatz definiert ist, und der Wahrscheinlichkeitsverteilung, die durch das Modell definiert ist. Zum Beispiel ist der mittlere …
2
Dice-Coefficient-Loss-Funktion gegen Cross-Entropie
Wie entscheiden Sie sich beim Trainieren von neuronalen Netzen mit Pixelsegmentierung, wie z. B. vollständig faltungsorientierten Netzen, für die Verwendung der Funktion für den entropieübergreifenden Verlust im Vergleich zur Funktion für den Verlust des Würfelkoeffizienten? Mir ist klar, dass dies eine kurze Frage ist, aber ich bin mir nicht sicher, …
1
Verlustfunktion für Autoencoder
Ich experimentiere ein bisschen mit Autoencodern und habe mit Tensorflow ein Modell erstellt, das versucht, den MNIST-Datensatz zu rekonstruieren. Mein Netzwerk ist sehr einfach: X, e1, e2, d1, Y, wobei e1 und e2 Codierschichten sind, d2 und Y Decodierschichten sind (und Y die rekonstruierte Ausgabe ist). X hat 784 Einheiten, …
2
Unterschiedliche Definitionen der Kreuzentropieverlustfunktion
Ich habe mit dem Neuralnetworksanddeeplearning dot com Tutorial angefangen, etwas über neuronale Netze zu lernen. Insbesondere im 3. Kapitel gibt es einen Abschnitt über die Kreuzentropiefunktion und definiert den Kreuzentropieverlust als: C.= - 1n∑x∑j( yjlneinL.j+ ( 1 -yj)ln( 1 -aL.j) )C.=- -1n∑x∑j(yjln⁡einjL.+(1- -yj)ln⁡(1- -einjL.))C = -\frac{1}{n} \sum\limits_x \sum\limits_j (y_j \ln …
1
Warum ist die Kreuzentropie intuitiv ein Maß für den Abstand zweier Wahrscheinlichkeitsverteilungen?
Für zwei diskrete Verteilungen und ist die Kreuzentropie definiert alspppqqq H(p,q)=−∑xp(x)logq(x).H(p,q)=−∑xp(x)log⁡q(x).H(p,q)=-\sum_x p(x)\log q(x). Ich frage mich, warum dies ein intuitives Maß für den Abstand zwischen zwei Wahrscheinlichkeitsverteilungen wäre. Ich sehe, dass die Entropie von , die die "Überraschung" von misst . ist das Maß, das teilweise durch . Ich verstehe …
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.