Data Science cosine-distance

4

Alternativen zu TF-IDF und Cosine Ähnlichkeit beim Vergleich von Dokumenten unterschiedlicher Formate

Ich habe an einem kleinen, persönlichen Projekt gearbeitet, das die beruflichen Fähigkeiten eines Benutzers aufgreift und basierend auf diesen Fähigkeiten die für ihn idealste Karriere vorschlägt. Ich benutze eine Datenbank mit Stellenangeboten, um dies zu erreichen. Im Moment funktioniert der Code wie folgt: 1) Verarbeiten Sie den Text jeder Stellenanzeige, …

12 nlp text-mining similarity cosine-distance

1

Berechnen Sie die Kosinusähnlichkeit in Apache Spark

Ich habe einen DataFrame mit IDF bestimmter Wörter berechnet. Zum Beispiel (10,[0,1,2,3,4,5],[0.413734499590671,0.4244680552337798,0.4761400657781007, 1.4004620708967006,0.37876590175292424,0.48374466516332]) .... and so on Geben Sie nun eine Abfrage Q, ich kann die TF-IDF dieser Abfrage berechnen. Wie berechne ich die Kosinusähnlichkeit der Abfrage mit allen Dokumenten im Datenrahmen (es gibt fast eine Million Dokumente)? Ich könnte …

9 machine-learning nlp apache-spark cosine-distance

2

Was sollte der Wert eines nicht bewerteten Feldes sein, wenn eine Kosinusähnlichkeit festgestellt wird?

Ich arbeite an einem sehr einfachen Buchempfehlungssystem. Ich möchte wissen, was mit den Feldern zu tun ist, die vom Benutzer nicht bewertet werden, wenn Kosinusähnlichkeit festgestellt wird. Sollten wir sie ignorieren und nur mit den bewerteten Feldern berechnen oder sollten wir sie mit 0 markieren. Das Buch, dem ich folge, …

8 correlation recommender-system cosine-distance

Als «cosine-distance» getaggte Fragen