Rückausbreitung mit Softmax / Cross Entropy

40

Ich versuche zu verstehen, wie Backpropagation für eine Softmax / Cross-Entropy-Ausgabeebene funktioniert.

Die Kreuzentropiefehlerfunktion ist

E (t, o) = - \sum_{j} t_{j} \log o_{j}

$E(t,o)=-\sum_j t_j \log o_j$

mit und als Ziel bzw. Ausgabe bei Neuron . Die Summe befindet sich über jedem Neuron in der Ausgabeschicht. selbst ist das Ergebnis der Softmax-Funktion: $t$ $o$ $j$ $o_j$

o_{j} = s o f t m a x (z_{j}) = \frac{e^{z_{j}}}{\sum_{j} e^{z_{j}}}

$o_j=softmax(z_j)=\frac{e^{z_j}}{\sum_j e^{z_j}}$

Wieder ist die Summe über jedem Neuron in der Ausgabeschicht und ist die Eingabe für das Neuron : $z_j$ $j$

z_{j} = \sum_{i} w_{i j} o_{i} + b

$z_j=\sum_i w_{ij}o_i+b$

Das ist die Summe über alle Neuronen in der vorherigen Schicht mit ihrer entsprechenden Ausgabe und dem Gewicht Richtung Neuron plus einer Verzerrung . $o_i$ $w_{ij}$ $j$ $b$

Um nun ein Gewicht zu aktualisieren , das ein Neuron in der Ausgabeebene mit einem Neuron in der vorherigen Ebene verbindet, muss die partielle Ableitung der Fehlerfunktion unter Verwendung der Kettenregel berechnet werden: $w_{ij}$ $j$ $i$

\frac{\partial E}{\partial w_{i j}} = \frac{\partial E}{\partial o_{j}} \frac{\partial o_{j}}{\partial z_{j}} \frac{\partial z_{j}}{\partial w_{i j}}

$\frac{\partial E} {\partial w_{ij}}=\frac{\partial E} {\partial o_j} \frac{\partial o_j} {\partial z_{j}} \frac{\partial z_j} {\partial w_{ij}}$

mit als Eingabe für das Neuron . $z_j$ $j$

Der letzte Begriff ist ganz einfach. Da es nur ein Gewicht zwischen und , lautet die Ableitung: $i$ $j$

\frac{\partial z_{j}}{\partial w_{i j}} = o_{i}

$\frac{\partial z_j} {\partial w_{ij}}=o_i$

Der erste Term ist die Ableitung der Fehlerfunktion in Bezug auf den Ausgang : $o_j$

\frac{\partial E}{\partial o_{j}} = \frac{- t_{j}}{o_{j}}

$\frac{\partial E} {\partial o_j} = \frac{-t_j}{o_j}$

Der mittlere Term ist die Herleitung der Softmax-Funktion in Bezug auf ihre Eingabe ist schwieriger: $z_j$

\frac{\partial o_{j}}{\partial z_{j}} = \frac{\partial}{\partial z_{j}} \frac{e^{z_{j}}}{\sum_{j} e^{z_{j}}}

$\frac{\partial o_j} {\partial z_{j}}=\frac{\partial} {\partial z_{j}} \frac{e^{z_j}}{\sum_j e^{z_j}}$

, wir haben drei Ausgangsneuronen, die den Klassen dann ist : $a,b,c$ $o_b = softmax(b)$

o_{b} = \frac{e^{z_{b}}}{\sum e^{z}} = \frac{e^{z_{b}}}{e^{z_{a}} + e^{z_{b}} + e^{z_{c}}}

$o_b=\frac{e^{z_b}}{\sum e^{z}}=\frac{e^{z_b}}{e^{z_a}+e^{z_b}+e^{z_c}}$

und deren Herleitung nach der Quotientenregel:

\frac{\partial o_{b}}{\partial z_{b}} = \frac{e^{z_{b}} * \sum e^{z} - (e^{z_{b}})^{2}}{(\sum_{j} e^{z})^{2}} = \frac{e^{z_{b}}}{\sum e^{z}} - \frac{(e^{z_{b}})^{2}}{(\sum e^{z})^{2}}

$\frac{\partial o_b} {\partial z_{b}}=\frac{e^{z_b}*\sum e^z - (e^{z_b})^2}{(\sum_j e^{z})^2}=\frac{e^{z_b}}{\sum e^z}-\frac{(e^{z_b})^2}{(\sum e^z)^2}$

= s o f t m a x (b) - s o f t m a x^{2} (b) = o_{b} - o_{b}^{2} = o_{b} (1 - o_{b})

$=softmax(b)-softmax^2(b)=o_b-o_b^2=o_b(1-o_b)$ Zurück zum mittleren Term für die bedeutet dies:

\frac{\partial o_{j}}{\partial z_{j}} = o_{j} (1 - o_{j})

$\frac{\partial o_j} {\partial z_{j}}=o_j(1-o_j)$

Alles zusammen bekomme ich

\frac{\partial E}{\partial w_{i j}} = \frac{- t_{j}}{o_{j}} * o_{j} (1 - o_{j}) * o_{i} = - t_{j} (1 - o_{j}) * o_{i}

$\frac{\partial E} {\partial w_{ij}}= \frac{-t_j}{o_j}*o_j(1-o_j)*o_i=-t_j(1-o_j)*o_i$

Das heißt, wenn das Ziel für diese Klasse , werde ich die Gewichte dafür nicht aktualisieren. Das klingt nicht richtig. $t_j=0$

Als ich dies untersuchte, fand ich Leute mit zwei Varianten für die Softmax-Ableitung, eine mit und die andere mit , wie hier oder hier . $i=j$ $i\ne j$

Aber ich kann daraus keinen Sinn machen. Ich bin mir auch nicht sicher, ob dies die Ursache für meinen Fehler ist, weshalb ich alle meine Berechnungen poste. Ich hoffe, jemand kann mir erklären, wo mir etwas fehlt oder was schief geht.

— micha
quelle

Die Links, die Sie angegeben haben, berechnen die Ableitung relativ zur Eingabe, während Sie die Ableitung relativ zu den Gewichten berechnen.

— Jenkar

35

Hinweis: Ich bin kein Experte für Backprop, aber nachdem ich jetzt ein bisschen gelesen habe, denke ich, dass der folgende Vorbehalt angebracht ist. Beim Lesen von Artikeln oder Büchern über neuronale Netze ist es nicht ungewöhnlich, dass Derivate mit einer Mischung aus Standard- Summations- / Indexnotation , Matrixnotation und Multi-Indexnotation geschrieben werden (schließen Sie einen Hybrid der letzten beiden für Tensor-Tensor-Derivate ein) ). In der Regel ist die Absicht, dass dies "aus dem Kontext heraus" verstanden werden sollte, also muss man vorsichtig sein!

Ich habe ein paar Inkonsistenzen in Ihrer Ableitung festgestellt. Ich mache eigentlich keine neuronalen Netze, daher ist das Folgende möglicherweise falsch. Hier ist jedoch, wie ich das Problem angehen würde.

Zunächst müssen Sie die Summe in berücksichtigen , und Sie können nicht davon ausgehen, dass jeder Term nur von einer Gewichtung abhängt. Nehmen wir also den Gradienten von in Bezug auf die Komponente von , so ist $E$ $E$ $k$ $z$

E = - \sum_{j} t_{j} \log o_{j} ⟹ \frac{\partial E}{\partial z_{k}} = - \sum_{j} t_{j} \frac{\partial \log o_{j}}{\partial z_{k}}

$E=-\sum_jt_j\log o_j\implies\frac{\partial E}{\partial z_k}=-\sum_jt_j\frac{\partial \log o_j}{\partial z_k}$

dann als wir haben wobei ist Kronecker Delta . Dann ist der Gradient des Softmax-Nenners , was oder Erweitern des Protokolls Beachten Sie, dass sich die Ableitung auf , ein beliebiger $o_j$

o_{j} = \frac{1}{Ω} e^{z_{j}}, Ω = \sum_{i} e^{z_{i}} ⟹ \log o_{j} = z_{j} - \log Ω

$o_j=\tfrac{1}{\Omega}e^{z_j} \,,\, \Omega=\sum_ie^{z_i} \implies \log o_j=z_j-\log\Omega$

\frac{\partial \log o_{j}}{\partial z_{k}} = δ_{j k} - \frac{1}{Ω} \frac{\partial Ω}{\partial z_{k}}

$\frac{\partial \log o_j}{\partial z_k}=\delta_{jk}-\frac{1}{\Omega}\frac{\partial\Omega}{\partial z_k}$

δ_{j k}

$\delta_{jk}$

\frac{\partial Ω}{\partial z_{k}} = \sum_{i} e^{z_{i}} δ_{i k} = e^{z_{k}}

$\frac{\partial\Omega}{\partial z_k}=\sum_ie^{z_i}\delta_{ik}=e^{z_k}$

\frac{\partial \log o_{j}}{\partial z_{k}} = δ_{j k} - o_{k}

$\frac{\partial \log o_j}{\partial z_k}=\delta_{jk}-o_k$

\frac{\partial o_{j}}{\partial z_{k}} = o_{j} (δ_{j k} - o_{k})

$\frac{\partial o_j}{\partial z_k}=o_j(\delta_{jk}-o_k)$

z_{k}

$z_k$ Komponente von , die den Term ergibt ( nur wenn ).

z

$z$

δ_{j k}

$\delta_{jk}$

= 1

$=1$

k = j

$k=j$

So dass der Gradient von in bezug auf ist dann wobei konstant ist (für einen gegebenen Vektor). $E$ $z$

\frac{\partial E}{\partial z_{k}} = \sum_{j} t_{j} (o_{k} - δ_{j k}) = o_{k} (\sum_{j} t_{j}) - t_{k} ⟹ \frac{\partial E}{\partial z_{k}} = o_{k} τ - t_{k}

$\frac{\partial E}{\partial z_k}=\sum_jt_j(o_k-\delta_{jk})=o_k\left(\sum_jt_j\right)-t_k \implies \frac{\partial E}{\partial z_k}=o_k\tau-t_k$

τ = \sum_{j} t_{j}

$\tau=\sum_jt_j$

t

$t$

Dies zeigt einen ersten Unterschied zu Ihrem Ergebnis: Das multipliziert nicht mehr . Beachten Sie, dass für den typischen Fall, in dem "one-hot" ist, (wie in Ihrem ersten Link angegeben). $t_k$ $o_k$ $t$ $\tau=1$

Eine zweite Inkonsistenz ist, wenn ich richtig verstehe, dass das " ", das in eingegeben wird, wahrscheinlich nicht das " " ist, das vom Softmax ausgegeben wird. Ich würde denken, dass es sinnvoller ist, dass dies in der Netzwerkarchitektur tatsächlich "weiter hinten" liegt? $o$ $z$ $o$

wir diesen Vektor , haben wir dann $y$

z_{k} = \sum_{i} w_{i k} y_{i} + b_{k} ⟹ \frac{\partial z_{k}}{\partial w_{p q}} = \sum_{i} y_{i} \frac{\partial w_{i k}}{\partial w_{p q}} = \sum_{i} y_{i} δ_{i p} δ_{k q} = δ_{k q} y_{p}

$z_k=\sum_iw_{ik}y_i+b_k \implies \frac{\partial z_k}{\partial w_{pq}}=\sum_iy_i\frac{\partial w_{ik}}{\partial w_{pq}}=\sum_iy_i\delta_{ip}\delta_{kq}=\delta_{kq}y_p$

Um schließlich den Gradienten von in Bezug auf die Gewichtsmatrix , verwenden wir die Kettenregel den endgültigen Ausdruck zu geben (unter der Annahme einer einem -hot , dh ) wobei die Eingabe auf der untersten Ebene ist (in Ihrem Beispiel). $E$ $w$

\frac{\partial E}{\partial w_{p q}} = \sum_{k} \frac{\partial E}{\partial z_{k}} \frac{\partial z_{k}}{\partial w_{p q}} = \sum_{k} (o_{k} τ - t_{k}) δ_{k q} y_{p} = y_{p} (o_{q} τ - t_{q})

$\frac{\partial E}{\partial w_{pq}}=\sum_k\frac{\partial E}{\partial z_k}\frac{\partial z_k}{\partial w_{pq}}=\sum_k(o_k\tau-t_k)\delta_{kq}y_p=y_p(o_q\tau-t_q)$

t

$t$

τ = 1

$\tau=1$

\frac{\partial E}{\partial w_{i j}} = y_{i} (o_{j} - t_{j})

$\frac{\partial E}{\partial w_{ij}}=y_i(o_j-t_j)$

y

$y$

Dies zeigt also einen zweiten Unterschied zu Ihrem Ergebnis: Das " " sollte vermutlich von der Ebene unter , die ich nenne , und nicht von der Ebene über (die ). $o_i$ $z$ $y$ $z$ $o$

Hoffentlich hilft das. Scheint dieses Ergebnis konsistenter zu sein?

Update: Als Antwort auf eine Abfrage aus dem OP in den Kommentaren hier eine Erweiterung des ersten Schritts. Beachten Sie zunächst, dass die Vektorkettenregel Summierungen erfordert (siehe hier ). Zweitens sollten Sie immer einen neuen tiefgestellten Buchstaben für die Komponente im Nenner der partiellen Ableitung eingeben, um sicherzugehen, dass alle Verlaufskomponenten erhalten werden. Um den Gradienten mit der Vollkettenregel vollständig auszuschreiben, haben wir und so
$\frac{\partial E}{\partial w_{p q}} = \sum_{i} \frac{\partial E}{\partial o_{i}} \frac{\partial o_{i}}{\partial w_{p q}}$ $\frac{\partial E}{\partial w_{pq}}=\sum_i \frac{\partial E}{\partial o_i}\frac{\partial o_i}{\partial w_{pq}}$ $\frac{\partial o_{i}}{\partial w_{p q}} = \sum_{k} \frac{\partial o_{i}}{\partial z_{k}} \frac{\partial z_{k}}{\partial w_{p q}}$ $\frac{\partial o_i}{\partial w_{pq}}=\sum_k \frac{\partial o_i}{\partial z_k}\frac{\partial z_k}{\partial w_{pq}}$ $\frac{\partial E}{\partial w_{p q}} = \sum_{i} [\frac{\partial E}{\partial o_{i}} (\sum_{k} \frac{\partial o_{i}}{\partial z_{k}} \frac{\partial z_{k}}{\partial w_{p q}})]$ $\frac{\partial E}{\partial w_{pq}}=\sum_i \left[ \frac{\partial E}{\partial o_i}\left(\sum_k \frac{\partial o_i}{\partial z_k}\frac{\partial z_k}{\partial w_{pq}}\right) \right]$ In der Praxis reduzieren sich die vollen Summierungen, weil Sie viele Terme erhalten. Die Verwendung der Regel für die vollständige Kette stellt sicher, dass Sie immer das richtige Ergebnis erhalten, auch wenn viele zusätzliche Summierungen und Indizes erforderlich sind. $\delta_{ab}$

— GeoMatt22
quelle

Ich bin nicht sicher, wie die "Backprop / AutoDiff" -Community diese Probleme löst, aber ich kann Fehler machen, wenn ich versuche, Verknüpfungen zu erstellen. Also mache ich es wie hier, schreibe alles in Form von Summierungen mit vollständiger Indexierung auf und führe immer neue Indexe für jedes Derivat ein. (Ähnlich wie meine Antwort hier ... Ich hoffe, ich gebe am Ende zumindest korrekte Ergebnisse!)

— GeoMatt22

Ich persönlich finde, dass du alles aufschreibst, was es viel einfacher macht, zu folgen. Die Ergebnisse sehen für mich richtig aus.

— Jenkar

Obwohl ich immer noch versuche, jeden Ihrer Schritte vollständig zu verstehen, habe ich einige wertvolle Einblicke erhalten, die mir beim Gesamtbild geholfen haben. Ich denke, ich muss mehr über Ableitungen und Summen lesen. Aber unter Berücksichtigung Ihrer Empfehlung, die Summe in E zu berücksichtigen, habe ich

— Folgendes gefunden

für zwei Ausgaben und mit der Kreuzentropiefehler ist Dann lautet die Ableitung was mit Ihrem Ergebnis übereinstimmt ... unter Berücksichtigung, dass Sie vor der Fehlersumme kein Minuszeichen hatten

o_{j_{1}} = \frac{e^{z_{j_{1}}}}{Ω}

$o_{j_1}=\frac{e^{z_{j_1}}}{\Omega}$

o_{j_{1}} = \frac{e^{z_{j_{1}}}}{Ω}

$o_{j_1}=\frac{e^{z_{j_1}}}{\Omega}$

Ω = e^{z_{j_{1}}} + e^{z_{j_{2}}}

$\Omega=e^{z_{j_1}}+e^{z_{j_2}}$

E = - (t_{1} l o g o_{j_{1}} + t_{2} l o g o_{j_{2}}) = - (t_{1} (z_{j_{1}} - l o g (Ω)) + t_{2} (z_{j_{2}} - l o g (Ω)))

$E=-(t_1 log o_{j_1}+t_2 log o_{j_2})=-(t_1(z_{j_1}-log(\Omega))+t_2(z_{j_2}-log(\Omega)))$

\frac{\partial E}{\partial (z_{j_{1}}} = - (t_{1} - t_{1} \frac{e^{z_{j_{1}}}}{Ω} - t_{2} \frac{e^{z_{j_{2}}}}{Ω}) = - t_{1} + o_{j_{1}} (t_{1} + t_{2})

$\frac{\partial E}{\partial (z_{j_1}}=-(t_1-t_1 \frac{e^{z_{j_1}}}{\Omega}-t_2 \frac{e^{z_{j_2}}}{\Omega})=-t_1+o_{j_1}(t_1+t_2)$

— micha

Aber eine weitere Frage, die ich habe, ist: Anstelle von , die im allgemeinen ist , was Ihre eingeführt mit Backpropagation, Sie berechnet: , um . Warum führt dieser Weg zum richtigen Ergebnis?

\frac{\partial E}{\partial w_{i j}} = \frac{\partial E}{\partial o_{j}} \frac{\partial o_{j}}{\partial z_{j}} \frac{\partial z_{j}}{\partial w_{i j}}

$\frac{\partial E} {\partial w_{ij}}=\frac{\partial E} {\partial o_j} \frac{\partial o_j} {\partial z_{j}} \frac{\partial z_j} {\partial w_{ij}}$

\frac{\partial E}{\partial w_{i j}} = \frac{\partial E}{\partial z_{j}} \frac{\partial z_{j}}{\partial w_{i j}}

$\frac{\partial E} {\partial w_{ij}}=\frac{\partial E} {\partial z_{j}} \frac{\partial z_j} {\partial w_{ij}}$

\partial o_{j}

$\partial o_j$

— Micha

12

Während die Antwort von @ GeoMatt22 richtig ist, fand ich es persönlich sehr nützlich, das Problem auf ein Spielzeugbeispiel zu reduzieren und ein Bild zu zeichnen:

I definiert dann die Operationen jeder Knoten wurde Berechnung, Behandeln der 's und ist , als Eingänge zu einem ‚Netzwerk‘ ( ist ein One-Hot - Vektor , der die Klasse Kennzeichens des Datenpunkt darstellt): $h$ $w$ $\mathbf{t}$

L = - t_{1} \log o_{1} - t_{2} \log o_{2}

$L=-t_1\log o_1 -t_2\log o_2$

o_{1} = \frac{\exp (y_{1})}{\exp (y_{1}) + \exp (y_{2})}

$o_1 = \frac{\exp(y_1)}{\exp(y_1) + \exp(y_2)}$

o_{2} = \frac{\exp (y_{2})}{\exp (y_{1}) + \exp (y_{2})}

$o_2 = \frac{\exp(y_2)}{\exp(y_1) + \exp(y_2)}$

y_{1} = w_{11} h_{1} + w_{21} h_{2} + w_{31} h_{3}

$y_1 = w_{11}h_1 + w_{21}h_2 + w_{31}h_3$

y_{2} = w_{12} h_{1} + w_{22} h_{2} + w_{32} h_{3}

$y_2 = w_{12}h_1 + w_{22}h_2 + w_{32}h_3$

Angenommen, ich möchte die Ableitung des Verlusts in Bezug auf berechnen . Ich kann mein Bild nur verwenden, um den Weg vom Verlust zum Gewicht, an dem ich interessiert bin, zurückzuverfolgen (die zweite Spalte von aus Gründen der Klarheit entfernt): $w_{21}$ $w$

Dann kann ich einfach die gewünschten Ableitungen berechnen. Beachten Sie, dass es zwei Pfade durch , die zu führen. muss ich die Ableitungen summieren, die durch die einzelnen Pfade gehen. $y_1$ $w_{21}$

\frac{\partial L}{\partial o_{1}} = - \frac{t_{1}}{o_{1}}

$\frac{\partial L}{\partial o_1} = -\frac{t_1}{o_1}$

\frac{\partial L}{\partial o_{2}} = - \frac{t_{2}}{o_{2}}

$\frac{\partial L}{\partial o_2} = -\frac{t_2}{o_2}$

\frac{\partial o_{1}}{\partial y_{1}} = \frac{\exp (y_{1})}{\exp (y_{1}) + \exp (y_{2})} - {(\frac{\exp (y_{1})}{\exp (y_{1}) + \exp (y_{2})})}^{2} = o_{1} (1 - o_{1})

$\frac{\partial o_1}{\partial y_1} = \frac{\exp(y_1)}{\exp(y_1) + \exp(y_2)} - \left(\frac{\exp(y_1)}{\exp(y_1) + \exp(y_2)}\right)^2 = o_1(1 - o_1)$

\frac{\partial o_{2}}{\partial y_{1}} = \frac{- \exp (y_{2}) \exp (y_{1})}{(\exp (y_{1}) + \exp (y_{2}))^{2}} = - o_{2} o_{1}

$\frac{\partial o_2}{\partial y_1} = \frac{-\exp(y_2)\exp(y_1)}{(\exp(y_1) + \exp(y_2))^2} = -o_2o_1$

\frac{\partial y_{1}}{\partial w_{21}} = h_{2}

$\frac{\partial y_1}{\partial w_{21}} = h_2$

Zum Schluss die Kettenregel zusammenfassen:

\begin{aligned} \frac{\partial L}{\partial w_{21}} & = \frac{\partial L}{\partial o_{1}} \frac{\partial o_{1}}{\partial y_{1}} \frac{\partial y_{1}}{\partial w_{21}} + \frac{\partial L}{\partial o_{2}} \frac{\partial o_{2}}{\partial y_{1}} \frac{\partial y_{1}}{\partial w_{21}} \\ = \frac{- t_{1}}{o_{1}} [o_{1} (1 - o_{1})] h_{2} + \frac{- t_{2}}{o_{2}} (- o_{2} o_{1}) h_{2} \\ = h_{2} (t_{2} o_{1} - t_{1} + t_{1} o_{1}) \\ = h_{2} (o_{1} (t_{1} + t_{2}) - t_{1}) \\ = h_{2} (o_{1} - t_{1}) \end{aligned}

$\begin{align} \frac{\partial L}{\partial w_{21}} &= \frac{\partial L}{\partial o_1}\frac{\partial o_1}{\partial y_1}\frac{\partial y_1}{\partial w_{21}} + \frac{\partial L}{\partial o_2}\frac{\partial o_2}{\partial y_1}\frac{\partial y_1}{\partial w_{21}}\\ &= \frac{-t_1}{o_1}[o_1(1 - o_1)]h_2 + \frac{-t_2}{o_2}(-o_2 o_1)h_2\\ &= h_2(t_2 o_1 - t_1 + t_1 o_1)\\ &= h_2(o_1(t_1 + t_2) - t_1)\\ &= h_2(o_1 - t_1) \end{align}$

Beachten Sie, dass im letzten Schritt da der Vektor ein One-Hot-Vektor ist. $t_1 + t_2 = 1$ $\mathbf{t}$

— Vivek Subramanian
quelle

Das ist es, was das für mich endlich geklärt hat! Ausgezeichnete und elegante Erklärung !!!!

— SantoshGupta7

2

Ich bin froh, dass Sie beide das Lesen meines Beitrags genossen und davon profitiert haben! Es war auch hilfreich für mich, es aufzuschreiben und zu erklären.

— Vivek Subramanian

@VivekSubramanian sollte es stattdessen ?

= \frac{- t_{1}}{o_{1}} [o_{1} (1 - o_{1})] h_{2} + \frac{- t_{2}}{o_{2}} (- o_{2} o_{1}) h_{2}

$= \frac{-t_1}{o_1}[o_1(1 - o_1)]h_2 + \frac{-t_2}{o_2}(-o_2 o_1)h_2\\$

— Koryakinp

Du hast recht - es war ein Tippfehler! Ich werde die Änderung vornehmen.

— Vivek Subramanian

Das, was ich hier nicht verstehe, ist, dass Sie einigen Neuronen auch Logits (nicht skalierte Scores) zuweisen. (o ist softmaxed logits (Prognosen) und y ist logits in Ihrem Fall). Dies ist jedoch normalerweise nicht der Fall, oder? Schauen Sie sich dieses Bild an (o_out1 ist Vorhersage und o_in1 ist Logs). Wie ist es in diesem Fall möglich, wie können Sie die partielle Ableitung von o2 in Bezug auf y1 finden?

— ARAT

6

von möchte ich einen Buchstaben, dessen Großbuchstaben sich optisch von seinem Kleinbuchstaben unterscheiden. Lassen Sie mich also ersetzen . Verwenden wir auch die Variable , um das aus der vorherigen Ebene zu . $\{o_i\},\,$ $\{y_i\}$ $\{p_i\}$ $\{o_i\}$

Sei die Diagonalmatrix, deren Diagonale gleich dem Vektor , dh Mit dieser neuen Matrixvariablen und dem Frobenius- Innenprodukt können wir den Gradienten von wrt berechnen . $Y$ $y$

Y = D i a g (y)

$Y={\rm Diag}(y)$

E

$E$

W

$W$

\begin{aligned} z & = W p + b & d z = d W p \\ y & = s o f t m a x (z) & d y = (Y - y y^{T}) d z \\ E & = - t : \log (y) & d E = - t : Y^{- 1} d y \\ d E & = - t : Y^{- 1} (Y - y y^{T}) d z \\ = - t : (I - 1 y^{T}) d z \\ = - t : (I - 1 y^{T}) d W p \\ = (y 1^{T} - I) t p^{T} : d W \\ = ((1^{T} t) y p^{T} - t p^{T}) : d W \\ \frac{\partial E}{\partial W} & = (1^{T} t) y p^{T} - t p^{T} \end{aligned}

$\eqalign{ z &= Wp+b &dz= dWp \cr y &= {\rm softmax}(z) &dy = (Y-yy^T)\,dz \cr E &= -t:\log(y) &dE = -t:Y^{-1}dy \cr\cr dE &= -t:Y^{-1}(Y-yy^T)\,dz \cr &= -t:(I-1y^T)\,dz \cr &= -t:(I-1y^T)\,dW\,p \cr &= (y1^T-I)tp^T:dW \cr &= ((1^Tt)yp^T - tp^T):dW \cr\cr \frac{\partial E}{\partial W} &= (1^Tt)yp^T - tp^T \cr }$

— frank
quelle

6

Hier ist eine der saubersten und am besten geschriebenen Notizen , die ich im Internet gefunden habe und die "Berechnung von Derivaten im Backpropagation-Algorithmus mit Cross-Entropy-Loss-Funktion" erklärt .

— yottabytt
quelle

Wie wurde aus Gleichung 22 in der angegebenen PDF-Datei Gleichung 23? Wie hat die Summation (k! = I) ein negatives Vorzeichen bekommen? Sollte es nicht ein positives Zeichen bekommen? Gerne Summation(Fn)(For All K) = Fn(k=i) + Summation(Fn)(k!=i)sollte das nach meinem Verständnis geschehen.

— Faizan

1

Hier ist ein Link , der den Softmax und seine Ableitung erklärt.

Es erklärt den Grund für die Verwendung von i = j und i! = J.

— S. Muhammad H. Mustafa
quelle

Es wird empfohlen, eine minimale, eigenständige Antwort bereitzustellen, falls die Verbindung in Zukunft unterbrochen wird. Andernfalls kann dies anderen Benutzern in Zukunft möglicherweise nicht mehr helfen.

— Luchonacho

0

Andere Antworten haben die korrekte Methode zur Berechnung der Ableitung bereitgestellt, zeigen jedoch nicht auf, wo Sie einen Fehler gemacht haben. Tatsächlich ist in Ihrer letzten Gleichung immer 1, da Sie angenommen haben, dass diesen Knoten von Ziel 1 in Ihre Ausgabe aufnimmt. von anderen Knoten haben unterschiedliche Formen der Wahrscheinlichkeitsfunktion und führen daher zu unterschiedlichen Formen der Ableitung. Sie sollten jetzt verstehen, warum andere Personen und unterschiedlich behandelt haben. $t_j$ $o_j$ $o_j$ $i=j$ $i\neq j$

— kuixiong
quelle