Statistiken und Big Data word-embeddings

2

Umgang mit unbekannten Wörtern in Sprachmodellierungsaufgaben mit LSTM

Für eine NLP-Aufgabe (Natural Language Processing) werden häufig word2vec-Vektoren als Einbettung für die Wörter verwendet. Es kann jedoch viele unbekannte Wörter geben, die nicht von den word2vec-Vektoren erfasst werden, einfach weil diese Wörter in den Trainingsdaten nicht oft genug gesehen werden (viele Implementierungen verwenden eine Mindestanzahl, bevor dem Wortschatz ein …

11 natural-language word2vec lstm word-embeddings

1

Eingabevektordarstellung vs. Ausgabevektordarstellung in word2vec

Wie wirkt sich die Auswahl von Wortvektoren aus (Eingabewortmatrix) im Vergleich zu Wortvektoren aus W ' (Ausgabewortmatrix) in den CBOW- und Sprunggrammmodellen von word2vec auf die Qualität der resultierenden Wortvektoren aus?W.WWW′W′W' CBOW: Skip-Gramm:

9 neural-networks natural-language word2vec word-embeddings

2

In welchem Verhältnis steht die Zielfunktion der negativen Stichprobe (NS) zur ursprünglichen Zielfunktion in word2vec?

Ich habe das Standard- / berühmte word2vec- Modell gelesen und gemäß den Standardnotizen für cs224n ändert sich die Zielfunktion von: J.o r i gi n a l= -∑j = 0 , j ≠ m2 mu⊤c - m + jvc+ 2 m l o g(∑k = 1| V.|e x p (u⊤kvc) …

8 neural-networks deep-learning natural-language word2vec word-embeddings

Als «word-embeddings» getaggte Fragen