Data Science

4

Ist Feature Engineering bei Verwendung von XGBoost noch nützlich?

Ich habe das Material zu XGBoost gelesen. Es scheint, dass diese Methode keine variable Skalierung erfordert, da sie auf Bäumen basiert und diese komplexe Nichtlinearitätsmuster-Interaktionen erfassen kann. Und es kann sowohl numerische als auch kategoriale Variablen verarbeiten, und es scheint auch, dass redundante Variablen diese Methode nicht zu sehr beeinflussen. …

9 xgboost feature-engineering

4

Wird die Kreuzvalidierungsleistung ein genauer Indikator für die Vorhersage der tatsächlichen Leistung in einem unabhängigen Datensatz sein?

Ich bin der Meinung, dass diese Frage mit der Theorie der Kreuzvalidierung zusammenhängt. Ich stelle meinen empirischen Befund , hier und schrieb eine Frage an die Theorie der Kreuzvalidierung im Zusammenhang gibt . Ich habe zwei Modelle M1 und M2. Ich verwende denselben Datensatz, um sie zu trainieren, und führe …

9 cross-validation

2

Best Practices für maschinelles Lernen für große Datenmengen

Ich stehe kurz vor meinem Abschluss und hatte etwas über maschinelles Lernen gelernt und damit Forschungsprojekte durchgeführt. Ich frage mich über die Best Practices in der Branche, wenn maschinelle Lernaufgaben mit großen Datenmengen (wie 100 GB oder TB) ausgeführt werden. Schätzen Sie, ob andere Datenwissenschaftler ihre Erfahrungen teilen können. Hier …

9 machine-learning predictive-modeling bigdata

1

Berechnen Sie die Kosinusähnlichkeit in Apache Spark

Ich habe einen DataFrame mit IDF bestimmter Wörter berechnet. Zum Beispiel (10,[0,1,2,3,4,5],[0.413734499590671,0.4244680552337798,0.4761400657781007, 1.4004620708967006,0.37876590175292424,0.48374466516332]) .... and so on Geben Sie nun eine Abfrage Q, ich kann die TF-IDF dieser Abfrage berechnen. Wie berechne ich die Kosinusähnlichkeit der Abfrage mit allen Dokumenten im Datenrahmen (es gibt fast eine Million Dokumente)? Ich könnte …

9 machine-learning nlp apache-spark cosine-distance

2

Liste der Feature-Engineering-Techniken

Gibt es eine Ressource mit einer Liste von Feature-Engineering-Techniken? Eine Kartierung der Art der Daten, des Modells und der Feature-Engineering-Technik wäre eine Goldmine

9 feature-selection feature-extraction feature-engineering feature-construction featurization

6

Python: Umgang mit Ungleichgewichtsklassen in Python Machine Learning

Ich habe einen Datensatz, für den ich versuche, Zielvariablen vorherzusagen. Col1 Col2 Col3 Col4 Col5 1 2 23 11 1 2 22 12 14 1 22 11 43 38 3 14 22 25 19 3 12 42 11 14 1 22 11 43 38 2 1 2 23 11 4 …

9 machine-learning python data-mining dataset pandas

1

Verstärkungslernen mit neuronalen Netzen verstehen (Q-Learning)

Ich versuche, Verstärkungslernen und Markov-Entscheidungsprozesse (MDP) zu verstehen, wenn ein neuronales Netz als Funktionsnäherungswert verwendet wird. Ich habe Schwierigkeiten mit der Beziehung zwischen dem MDP, in dem die Umgebung auf probabilistische Weise untersucht wird, wie dies auf Lernparameter zurückgeführt wird und wie die endgültige Lösung / Richtlinien gefunden werden. Kann …

9 machine-learning neural-network q-learning

2

Schritte des maschinellen Lernens

Welche der folgenden Schritte ist beim Erstellen eines Vorhersagemodells die richtige? Option 1: Beseitigen Sie zuerst die offensichtlich schlechtesten Prädiktoren und verarbeiten Sie die verbleibenden bei Bedarf vor, trainieren Sie dann verschiedene Modelle mit Kreuzvalidierung, wählen Sie die wenigen besten aus, identifizieren Sie die jeweils verwendeten Top-Prädiktoren, trainieren Sie diese …

9 machine-learning predictive-modeling

1

Warum verwendet die Rekonstruktion in Autoencodern dieselbe Aktivierungsfunktion wie die Vorwärtsaktivierung und nicht die umgekehrte?

Angenommen, Sie haben eine Eingabeebene mit n Neuronen und die erste verborgene Ebene hat Neuronen, typischerweise m < n . Dann berechnen Sie die Aktivierung a j des j- ten Neurons in der verborgenen Schicht durchmmmm < nm<nm < neinjeinja_jjjj , wobei f eine Aktivierungsfunktion wie tanh oder sigmoid ist …

9 machine-learning visualization deep-learning autoencoder

1

Python Seaborn: Wie werden Fehlerbalken in Barplots berechnet?

Ich verwende die Seaborn-Bibliothek, um Balkendiagramme in Python zu erstellen. Ich frage mich, welche Statistiken zur Berechnung der Fehlerbalken verwendet werden, kann aber in der Barplot-Dokumentation des Seaborn keinen Hinweis darauf finden . Ich weiß, dass die Balkenwerte in meinem Fall basierend auf dem Mittelwert berechnet werden (die Standardoption), und …

9 python visualization

1

Grundlegendes zu Ausfall und Gefälle

Ich schaue mir an, wie man Dropout in einem tiefen neuronalen Netzwerk implementiert, und fand etwas, das nicht intuitiv ist. In der Vorwärtsphase fallen Dropout-Maskenaktivierungen mit einem zufälligen Tensor von 1s und 0s an, um das Netz zu zwingen, den Durchschnitt der Gewichte zu lernen. Dies hilft dem Netz, besser …

9 neural-network deep-learning gradient-descent

4

Clustering für gemischte numerische und nominale diskrete Daten

Meine Daten enthalten binäre (numerische) und nominelle / kategoriale Umfrageantworten. Alle Antworten sind diskret und auf individueller Ebene. Die Daten haben eine Form (n = 7219, p = 105). Paar Dinge: Ich versuche, eine Clustering-Technik mit einem Ähnlichkeitsmaß zu identifizieren, das für kategoriale und numerische Binärdaten funktioniert. Es gibt Techniken …

9 clustering k-means scikit-learn categorical-data

2

Unzulässige Größe der zufälligen Gesamtstruktur beim Speichern auf der Festplatte

Beim Speichern auf der Festplatte mit cPickle: /programming/20662023/save-python-random-forest-model-to-file beträgt meine zufällige Gesamtstruktur 6,57 GB. with open('rforest.cpickle', 'wb') as f: cPickle.dump(rforest, f) Ich möchte die Gesamtstruktur selbst verwenden, um Vorhersagen über eine auf Heroku gehostete Python-API zu treffen - natürlich ist diese Dateigröße nicht akzeptabel. Warum ist die Datei so groß? …

9 python random-forest

1

Wird bei Verwendung von SVM als binärer Klassifikator die Bezeichnung für einen Datenpunkt im Konsens ausgewählt?

Ich lerne Support Vector Machines und kann nicht verstehen, wie eine Klassenbezeichnung für einen Datenpunkt in einem binären Klassifikator ausgewählt wird. Wird es im Konsens hinsichtlich der Klassifizierung in jeder Dimension der trennenden Hyperebene gewählt?

9 svm classification binary

1

Wie kann ich einfaches maschinelles Lernen ohne hartcodiertes Verhalten durchführen? [geschlossen]

Geschlossen. Diese Frage ist nicht zum Thema . Derzeit werden keine Antworten akzeptiert. Möchten Sie diese Frage verbessern? Aktualisieren Sie die Frage so dass es beim Thema für Daten Wissenschaft Stapel Börse. Geschlossen vor 5 Jahren . Ich war schon immer an maschinellem Lernen interessiert, aber ich kann nicht herausfinden, …

9 machine-learning