Wie kann man Wahrscheinlichkeiten in xgboost vorhersagen?

Die folgende Vorhersagefunktion gibt ebenfalls -ve-Werte an, sodass es sich nicht um Wahrscheinlichkeiten handeln kann.

param <- list(max.depth = 5, eta = 0.01,  objective="binary:logistic",subsample=0.9)
bst <- xgboost(param, data = x_mat, label = y_mat,nround = 3000)

pred_s <- predict(bst, x_mat_s2)

Ich google & versuchte, pred_s <- predict(bst, x_mat_s2,type="response") aber es hat nicht funktioniert.

Frage

Wie kann man stattdessen Wahrscheinlichkeiten vorhersagen?

machine-learning r predictive-modeling decision-trees

— GeorgeOfTheRF
quelle

Gibt es nicht standardmäßig Wahrscheinlichkeiten mit den von Ihnen verwendeten Einstellungen aus? Ich meine: hast du pred_s untersucht und bist dir sicher, dass das keine Wahrscheinlichkeiten sind?

— kpb

Nein, es hat negative Werte. Die Wahrscheinlichkeit sollte zwischen 0 und 1 variieren.

— GeorgeOfTheRF

Ich sehe keine offensichtlichen Probleme. (Obwohl ich mit dem Python-Wrapper besser vertraut bin). Haben Sie versucht outputmargin=F, die predictFunktion zu erweitern? Wenn irgendwie der Wert auf outputmargingesetzt ist T, wird der Wert vor der logistischen Umwandlung zurückgegeben.

— Inversion

Für Python können Sie die predict_probaImplementierung von der sklearnAPI kopieren : github.com/dmlc/xgboost/blob/master/python-package/xgboost/…

— Anton Tarasenko

Antworten:

Ich bin zwar etwas spät dran, aber um die Wahrscheinlichkeiten von xgboostdir zu bekommen , solltest du folgendes multi:softmaxZiel angeben :

xgboost(param, data = x_mat, label = y_mat,nround = 3000, objective='multi:softprob')

Aus dem ?xgb.train:

multi: softprob Entspricht softmax, gibt jedoch einen Vektor der Klasse ndata * n aus, der weiter in die Matrix ndata, nclass umgewandelt werden kann. Das Ergebnis enthält vorhergesagte Wahrscheinlichkeiten für jeden Datenpunkt, der zu jeder Klasse gehört.

— cyberj0g
quelle

Vielen Dank. Inwiefern unterscheidet sich diese Verlustfunktion von der binären: Logistik für die binäre Klassifizierung?

— GeorgeOfTheRF

Es ist nur eine Verallgemeinerung der logistischen Funktion für Multi-Class-Fall, sollte kein wesentlicher Unterschied sein.

— cyberj0g

Verwenden Sie predict_probastatt predict. Sie können das Objektiv als verlassen binary:logistic.

— ihadanny
quelle

Wenn dies Python und nicht R wäre, dann könnte diese Antwort sinnvoll sein. Falsche Sprache.

— B_Miner

Hoppla! danke @B_Miner. Ich lösche diese Antwort nicht, da sie für andere hilfreich sein könnte, die den gleichen Fehler machen und der Meinung sind, dass es sich um Python handelt.

— ihadanny

Für mich ist dies kein Trick. Datascience.stackexchange.com/questions/14527/…

— Georg Heiler

xgboost hat keine predict_proba-Funktion

— Ashoka Lella

XGBoost Classifier hat eine predict_proba-Option xgboost.readthedocs.io/en/latest/python/python_api.html

— Paul Bendevis

nach der Vorhersage

pred_s <- predict(bst, x_mat_s2)

Sie können die Wahrscheinlichkeit durch bekommen

pred_s$data

Wenn es sich um eine binäre Klassifizierung handelt, pred_s$dataumfasst dies prob.0, prob.1, response.

So kann man prob.1 durch bekommen

pred_s$data$prob.1

— Dera
quelle