Data Science dataset

3

Ich versuche, Bestandsdaten zu finden, mit denen ich üben kann. Gibt es dafür eine gute Ressource? Ich habe folgendes gefunden: ftp://emi.nasdaq.com/ITCH/ aber es hat nur das aktuelle Jahr. Ich habe bereits eine Möglichkeit, das Protokoll zu analysieren, möchte aber weitere Daten zum Vergleichen haben. Es muss nicht dasselbe Format haben, …

10 data-mining dataset

1

Kann HDF5 durch separate Python-Prozesse zuverlässig gleichzeitig beschrieben und gelesen werden?

Ich schreibe ein Skript, um Live-Daten im Laufe der Zeit in einer einzigen HDF5-Datei aufzuzeichnen, die meinen gesamten Datensatz für dieses Projekt enthält. Ich arbeite mit Python 3.6 und habe beschlossen, ein Befehlszeilentool clickzum Sammeln der Daten zu erstellen . Ich mache mir Sorgen, was passiert, wenn das Datenerfassungsskript in …

9 python dataset

2

Benchmark-Datensätze für die kollaborative Filterung

Ich möchte einen neuen Algorithmus für die kollaborative Filterung testen . Ein typischer Anwendungsfall besteht darin, Filme zu empfehlen, die auf den Vorlieben von Benutzern basieren, die dem jeweiligen Benutzer ähnlich sind. Welche gängigen Benchmark-Datensätze verwenden Forscher häufig, um ihre Algorithmen zu testen? Ich weiß, dass in Computer Vision häufig …

9 dataset recommender-system

2

Wie modelliere ich das Kaufverhalten eines Nutzers bei Amazon?

Für unser Abschlussprojekt in Data Science haben wir Folgendes vorgeschlagen: Geben Sie den Amazon Reviews-Datensatz an . Wir planen, einen Algorithmus zu entwickeln (der grob auf dem personalisierten PageRank basiert), der eine strategische Position für die Platzierung von Anzeigen bei Amazon festlegt. Zum Beispiel gibt es bei Amazon Millionen von …

9 machine-learning data-mining dataset recommender-system

4

Schlagen Sie Trainingsdatensätze für Textklassifizierer vor

Mit welchen frei verfügbaren Datensätzen kann ich einen Textklassifizierer trainieren? Wir versuchen, das Engagement unserer Benutzer zu verbessern, indem wir ihm den verwandtesten Inhalt empfehlen. Daher dachten wir, wenn wir unseren Inhalt anhand einer vordefinierten Worttasche klassifizieren, können wir ihm empfehlen, Inhalte zu nutzen, indem wir sein Feedback zu einer …

9 machine-learning classification dataset clustering text-mining

6

Python: Umgang mit Ungleichgewichtsklassen in Python Machine Learning

Ich habe einen Datensatz, für den ich versuche, Zielvariablen vorherzusagen. Col1 Col2 Col3 Col4 Col5 1 2 23 11 1 2 22 12 14 1 22 11 43 38 3 14 22 25 19 3 12 42 11 14 1 22 11 43 38 2 1 2 23 11 4 …

9 machine-learning python data-mining dataset pandas

1

So teilen Sie Zug / Test in Empfehlungssystemen

Ich arbeite mit dem MovieLens10M-Datensatz und sage Benutzerbewertungen voraus. Wie sollte ich meine Trainings- und Testdaten aufteilen, wenn ich meinen Algorithmus fair bewerten möchte? Ich glaube, dass die Daten standardmäßig in Zug-Test-Sets aufgeteilt sind, in denen 'Test' Filme enthält, die zuvor im Trainingssatz nicht gesehen wurden. Wie muss ich meine …

8 machine-learning dataset recommender-system

2

Der beste Weg, um große Datenmengen mit R von Twitter zu speichern?

Ich arbeite an einem Projekt, das darauf abzielt, einen großen Datensatz (dh Tweet-Daten, die ein paar Tage alt sind) von Twitter mithilfe der twitteR-Bibliothek auf R. abzurufen. Es ist schwierig, Tweets zu speichern, da mein Computer nur über 8 GB Speicher verfügt . Es ging der Speicher aus, noch bevor …

8 r dataset

3

Interaktive grafische Darstellung beim Protokollieren von Daten

Ich möchte grafisch darstellen und interaktiv Live- / kontinuierlich gemessene Daten untersuchen. Es gibt einige Optionen, wobei plot.ly am benutzerfreundlichsten ist. Plot.ly verfügt über eine fantastische und benutzerfreundliche Benutzeroberfläche (leicht skalierbar, pannbar, leicht zoombar / an den Bildschirm anpassbar), kann jedoch die großen Datenmengen, die ich sammle, nicht verarbeiten. Kennt …

8 dataset visualization

1

Generieren Sie Vorhersagen, die orthogonal (nicht korreliert) zu einer bestimmten Variablen sind

Ich habe eine XMatrix, eine yVariable und eine andere Variable ORTHO_VAR. Ich muss die yVariable vorhersagen , wobei Xdie Vorhersagen aus diesem Modell orthogonal sein müssen, ORTHO_VARwährend sie so korreliert ywie möglich sind. Ich würde es vorziehen, wenn die Vorhersagen mit einer nicht parametrischen Methode wie erzeugt werden, xgboost.XGBRegressoraber ich …

8 correlation machine-learning dataset logistic-regression prediction linear-regression prediction dummy-variables neural-network image-classification python k-nn python neural-network neural-network deep-learning keras tensorflow image-classification tensorflow reinforcement-learning policy-gradients machine-learning decision-trees neural-network overfitting data-analysis metric python scikit-learn distance scipy machine-learning python scikit-learn decision-trees logistic-regression keras image-classification implementation machine-learning python scikit-learn random-forest decision-trees machine-learning feature-selection feature-engineering word2vec word-embeddings natural-language-process scikit-learn time-series clustering k-means python cross-validation pyspark statistics cross-validation multiclass-classification evaluation machine-learning nlp machine-translation neural-network deep-learning keras tensorflow image-classification machine-learning python similarity distance lstm text named-entity-recognition machine-learning keras optimization gan learning-rate neural-network data-mining dataset databases books neural-network rnn

1

Wie berechnen Sie, wie dicht oder dünn ein Datensatz ist?

Ich beschäftige mich eingehender mit der kollaborativen Filterung. Ein wirklich interessantes Papier ist "Eine vergleichende Studie über kollaborative Filteralgorithmen" http://arxiv.org/pdf/1205.3193.pdf Um auszuwählen, welcher CF-Algorithmus verwendet werden soll, bezieht sich das Papier auf die Dichte des Datensatzes. Es wird nicht erklärt, wie Sie die Dichte Ihres Datensatzes tatsächlich berechnen. Kann mir …

8 machine-learning dataset recommender-system

4

Ähnlichkeit der Berufsbezeichnung

Ich versuche, eine Metrik zwischen Berufsbezeichnungen im IT-Bereich zu definieren. Dazu benötige ich eine Metrik zwischen Wörtern von Berufsbezeichnungen, die nicht zusammen in derselben Berufsbezeichnung erscheinen, z. B. eine Metrik zwischen den Wörtern Senior, Primary, Lead, Head, VP, Director, Zeug, Principal, Chief, oder die Wörter Analyst, Experte, Modellierer, Forscher, Wissenschaftler, …

8 machine-learning dataset

1

Auf einem mehrsprachigen Stimmungskorpus

Ich möchte einen Stimmungskorpus für Nachrichtenartikel in mehreren Sprachen (~ 100.000 pro Sprache für ein Experiment zum maschinellen Lernen) zusammenstellen, in dem jeder Artikel als positiv, neutral oder negativ gekennzeichnet ist. Ich habe hoch und niedrig gesucht, konnte aber so etwas nicht finden. Ich habe bereits die Nachrichtenartikel in jeder …

7 machine-learning python nlp dataset sentiment-analysis

1

Wie kann ich die ImageNet ILSVRC 2012-Daten abrufen, die für die Klassifizierungsherausforderung verwendet wurden?

Ich würde gerne sehen, ob ich einige der Bildnetzergebnisse reproduzieren kann. Ich konnte jedoch die Daten (die Liste der URLs), die für das Training / Testen in den ILSVRC 2012 (oder höher) Klassifizierungsherausforderungen verwendet wurden, nicht finden. Ich habe nur http://www.image-net.org/download-imageurls gefunden . Wo werden die Daten für die Klassifizierungsherausforderung …

7 dataset image-classification

3

Eine Hot-Codierung für eine große Anzahl von Werten

Wie verwenden wir eine Hot-Codierung, wenn die Anzahl der Werte, die eine kategoriale Variable annehmen kann, groß ist? In meinem Fall sind es 56 Werte. Wie üblich müsste ich dem Trainingsdatensatz 56 Spalten (56 Binärmerkmale) hinzufügen, was die Komplexität und damit die Trainingszeit immens erhöht. Wie gehen wir mit solchen …

7 machine-learning data-mining classification dataset categorical-data

Als «dataset» getaggte Fragen