Eingabevektordarstellung vs. Ausgabevektordarstellung in word2vec

Wie wirkt sich die Auswahl von Wortvektoren aus (Eingabewortmatrix) im Vergleich zu Wortvektoren aus W ' (Ausgabewortmatrix) in den CBOW- und Sprunggrammmodellen von word2vec auf die Qualität der resultierenden Wortvektoren aus?$W$$W'$

CBOW:

Skip-Gramm:

Garten et al. {1} verglich Wortvektoren, die durch Addieren von Eingangswortvektoren mit Ausgangswortvektoren erhalten wurden , mit Wortvektoren, die durch Verketten von Eingangswortvektoren mit Ausgangswortvektoren erhalten wurden. In ihren Experimenten liefert die Verkettung signifikant bessere Ergebnisse:

Die Videovorlesung {2} empfiehlt, Eingabewortvektoren mit Ausgabewortvektoren zu mitteln, vergleicht sie jedoch nicht mit der Verkettung von Eingabewortvektoren mit Ausgabewortvektoren.

Verweise:

• {1} Garten, J., Sagae, K., Ustun, V. & Dehghani, M. (2015, Juni). Kombinieren verteilter Vektordarstellungen für Wörter . In Proceedings of NAACL-HLT (S. 95-101).
• {2} Stanford CS224N: NLP mit Deep Learning von Christopher Manning | Winter 2019 | Vorlesung 2 - Wortvektoren und Wortsinne. https://youtu.be/kEMJRjEdNzM?t=1565 ( Spiegel )