Ableitung des Kreuzentropieverlusts in word2vec

Ich versuche, mich durch den ersten Problemsatz des cs224d Online-Kurskurses in Stanford zu arbeiten, und ich habe einige Probleme mit Problem 3A: Wenn wir das Skip-Gramm-word2vec-Modell mit der Softmax-Vorhersagefunktion und der Cross-Entropy-Loss-Funktion verwenden, haben wir wollen die Gradienten in Bezug auf die vorhergesagten Wortvektoren berechnen. Also gegeben die Softmax-Funktion:

$\hat{w_i} = \Pr(word_i\mid\hat{r}, w) = \frac{\exp(w_i^T \hat{r})}{\sum_{j}^{|V|}exp(w_j^T\hat{r})}$

und Kreuzentropiefunktion:

$CE(w, \hat{w}) = -\sum\nolimits_{k} w_klog(\hat{w_k})$

wir müssen berechnen $\frac{\partial{CE}}{\partial{\hat{r}}}$

Meine Schritte sind wie folgt:

$CE(w, \hat{w}) = -\sum_{k}^{|V|} w_klog(\frac{\exp(w_k^T \hat{r})}{\sum_{j}^{|V|}exp(w_j^T\hat{r})})$

$= -\sum_{k}^{|V|} w_klog(\exp(w_k^T \hat{r}) - w_klog(\sum_{j}^{|V|}exp(w_j^T\hat{r}))$

Jetzt ist $w_k$ ein heißer Vektor und i ist die richtige Klasse:

$CE(w, \hat{w}) = - w_i^T\hat{r} + log(\sum_{j}^{|V|}exp(w_j^T\hat{r}))$

$\frac{\partial{CE}}{\partial{\hat{r}}} = -w_i + \frac{1}{\sum_{j}^{|V|}exp(w_j^T\hat{r})}\sum_{j}^{|V|}exp(w_j^T\hat{r})w_j$

Ist das richtig oder könnte es weiter vereinfacht werden? Ich möchte versuchen, sicherzustellen, dass ich auf dem richtigen Weg bin, da die Problemlösungen nicht online veröffentlicht werden. Außerdem ist es wichtig, dass die schriftlichen Aufgaben korrekt sind, damit die Programmieraufgaben ordnungsgemäß ausgeführt werden können.

machine-learning self-study word2vec

— Slushi
quelle

Bitte fügen Sie das Selbststudien-Tag der Frage hinzu

— Dawny33

Das zweite Minuszeichen in der ersten Protokollidentität sollte ein Plus sein. Versucht, es für Sie zu beheben, aber Änderungen müssen mindestens 6 Zeichen sein: \

— FatalMojo

\frac{\partial C E}{\partial \hat{r}} = - w_{i} + \frac{1}{\sum_{j}^{| V |} e x p (w_{j}^{T} \hat{r})} \sum_{j}^{| V |} e x p (w_{j}^{T} \hat{r}) w_{j}

$\frac{\partial{CE}}{\partial{\hat{r}}} = -w_i + \frac{1}{\sum_{j}^{|V|}exp(w_j^T\hat{r})}\sum_{j}^{|V|}exp(w_j^T\hat{r})w_j$ kann als umgeschrieben werden Beachten Sie, dass die Summen beide durch j indiziert sind, aber es sollten wirklich 2 verschiedene Variablen sein. Dies wäre angemessener was übersetzt in

\frac{\partial C E}{\partial \hat{r}} = - w_{i} + \sum_{j}^{| V |} (\frac{\exp (w_{j}^{⊤} \hat{r})}{\sum_{j}^{| V |} e x p (w_{j}^{T} \hat{r})} \cdot w_{j})

$\frac{\partial{CE}}{\partial{\hat{r}}} = -w_i + \sum_{j}^{|V|} \left( \frac{ \exp(w_j^\top\hat{r}) }{\sum_{j}^{|V|}exp(w_j^T\hat{r})} \cdot w_j \right)$

\frac{\partial C E}{\partial \hat{r}} = - w_{i} + \sum_{x}^{| V |} (\frac{\exp (w_{x}^{⊤} \hat{r})}{\sum_{j}^{| V |} e x p (w_{j}^{T} \hat{r})} \cdot w_{x})

$\frac{\partial{CE}}{\partial{\hat{r}}} = -w_i + \sum_{x}^{|V|} \left( \frac{ \exp(w_x^\top\hat{r}) }{\sum_{j}^{|V|}exp(w_j^T\hat{r})} \cdot w_x \right)$

\frac{\partial C E}{\partial \hat{r}} = - w_{i} + \sum_{x}^{| V |} Pr (w o r d_{x} ∣ \hat{r}, w) \cdot w_{x}

$\frac{\partial{CE}}{\partial{\hat{r}}} = -w_i + \sum_{x}^{|V|} \Pr(word_x\mid\hat{r}, w) \cdot w_x$

— FatalMojo
quelle

Relevant, er geht diese Ableitung im Detail in Vorlesung 2 @ 38:00

— FatalMojo

Warum sollten die Summen durch verschiedene Variablen indiziert werden?

— Yamaneko

Nur um Verwirrung zu vermeiden. Mathematisch bedeutet dies dasselbe, aber es empfiehlt sich, die Indexbezeichnung zu ändern, wenn Sie eine neue Summe hinzufügen.

— FatalMojo