Data Science random-forest

3

R zufällige Gesamtstruktur auf Amazon ec2 Fehler: Vektor mit einer Größe von 5,4 GB kann nicht zugeordnet werden

Ich trainiere zufällige randomForest()Waldmodelle in R mit 1000 Bäumen und Datenrahmen mit etwa 20 Prädiktoren und 600K Zeilen. Auf meinem Laptop funktioniert alles einwandfrei, aber wenn ich zu amazon ec2 wechsle, um dasselbe auszuführen, wird folgende Fehlermeldung angezeigt: Error: cannot allocate vector of size 5.4 Gb Execution halted Ich verwende …

9 r random-forest

2

Unzulässige Größe der zufälligen Gesamtstruktur beim Speichern auf der Festplatte

Beim Speichern auf der Festplatte mit cPickle: /programming/20662023/save-python-random-forest-model-to-file beträgt meine zufällige Gesamtstruktur 6,57 GB. with open('rforest.cpickle', 'wb') as f: cPickle.dump(rforest, f) Ich möchte die Gesamtstruktur selbst verwenden, um Vorhersagen über eine auf Heroku gehostete Python-API zu treffen - natürlich ist diese Dateigröße nicht akzeptabel. Warum ist die Datei so groß? …

9 python random-forest

1

Mindestanzahl von Bäumen für den Random Forest-Klassifikator

Ich suche nach einer theoretischen oder experimentellen Schätzung der Untergrenze für die Anzahl der Bäume in einem Random Forest-Klassifikator. Normalerweise teste ich verschiedene Kombinationen und wähle die aus, die (mithilfe der Kreuzvalidierung) das median beste Ergebnis liefert. Ich denke jedoch, dass es bei Beobachtungen und Merkmalen eine Untergrenze für die …

8 random-forest decision-trees

1

Unterschied zwischen tf-idf und tf mit zufälligen Wäldern

Ich arbeite an einem Problem bei der Textklassifizierung mit Random Forest als Klassifizierer und einem Ansatz mit vielen Wörtern. Ich verwende die grundlegende Implementierung von Random Forests (die in Scikit enthaltene), die bei jedem Split eine binäre Bedingung für eine einzelne Variable erstellt. In Anbetracht dessen gibt es einen Unterschied …

8 classification text-mining random-forest

1

Generieren Sie Vorhersagen, die orthogonal (nicht korreliert) zu einer bestimmten Variablen sind

Ich habe eine XMatrix, eine yVariable und eine andere Variable ORTHO_VAR. Ich muss die yVariable vorhersagen , wobei Xdie Vorhersagen aus diesem Modell orthogonal sein müssen, ORTHO_VARwährend sie so korreliert ywie möglich sind. Ich würde es vorziehen, wenn die Vorhersagen mit einer nicht parametrischen Methode wie erzeugt werden, xgboost.XGBRegressoraber ich …

8 correlation machine-learning dataset logistic-regression prediction linear-regression prediction dummy-variables neural-network image-classification python k-nn python neural-network neural-network deep-learning keras tensorflow image-classification tensorflow reinforcement-learning policy-gradients machine-learning decision-trees neural-network overfitting data-analysis metric python scikit-learn distance scipy machine-learning python scikit-learn decision-trees logistic-regression keras image-classification implementation machine-learning python scikit-learn random-forest decision-trees machine-learning feature-selection feature-engineering word2vec word-embeddings natural-language-process scikit-learn time-series clustering k-means python cross-validation pyspark statistics cross-validation multiclass-classification evaluation machine-learning nlp machine-translation neural-network deep-learning keras tensorflow image-classification machine-learning python similarity distance lstm text named-entity-recognition machine-learning keras optimization gan learning-rate neural-network data-mining dataset databases books neural-network rnn

Als «random-forest» getaggte Fragen