Statistiken und Big Data roc

1

Vergleich zweier Modelle, wenn sich die ROC-Kurven kreuzen

Eine gebräuchliche Maßnahme zum Vergleich von zwei oder mehr Klassifizierungsmodellen besteht darin, die Fläche unter der ROC-Kurve (AUC) als Mittel zur indirekten Bewertung ihrer Leistung zu verwenden. In diesem Fall wird ein Modell mit einer größeren AUC normalerweise als leistungsstärker interpretiert als ein Modell mit einer kleineren AUC. Laut Vihinen, …

13 machine-learning classification roc auc model-evaluation

2

Ist es mit dem Caret-Paket möglich, Verwechslungsmatrizen für bestimmte Schwellenwerte zu erhalten?

Ich habe ein logistisches Regressionsmodell (Via train) für eine binäre Antwort erhalten, und ich habe die logistische Verwirrungsmatrix über confusionMatrixin erhalten caret. Es gibt mir die logistische Modellverwirrungsmatrix, obwohl ich nicht sicher bin, welcher Schwellenwert verwendet wird, um es zu erhalten. Wie erhalte ich die Verwirrungsmatrix für bestimmte Schwellenwerte mit …

13 r classification roc caret confusion-matrix

1

Auswertung eines logistischen Regressionsmodells

Ich arbeite an einem Logistikmodell und habe einige Schwierigkeiten, die Ergebnisse zu bewerten. Mein Modell ist ein Binomial Logit. Meine erklärenden Variablen sind: eine kategoriale Variable mit 15 Ebenen, eine dichotome Variable und 2 stetige Variablen. Mein N ist groß> 8000. Ich versuche, die Entscheidung von Unternehmen zu modellieren, zu …

13 r logistic goodness-of-fit roc

3

Statistische Signifikanz (p-Wert) für den Vergleich zweier Klassifikatoren hinsichtlich (mittlerer) ROC AUC, Sensitivität und Spezifität

Ich habe einen Testsatz von 100 Fällen und zwei Klassifikatoren. Ich erstellte Vorhersagen und berechnete die ROC AUC, Sensitivität und Spezifität für beide Klassifikatoren. Frage 1: Wie kann ich den p-Wert berechnen, um zu überprüfen, ob einer in Bezug auf alle Scores (ROC AUC, Sensitivität, Spezifität) signifikant besser als der …

13 machine-learning statistical-significance roc auc sensitivity-specificity

4

Wie interpretiere ich eine ROC-Kurve?

Ich habe die logistische Regression auf meine SAS-Daten angewendet. Hier sind die ROC-Kurve und die Klassifizierungstabelle. Ich bin mit den Zahlen in der Klassifikationstabelle einverstanden, weiß aber nicht genau, wie die ROC-Kurve und die Fläche darunter aussehen. Jede Erklärung wäre sehr dankbar.

13 regression logistic classification roc

2

Wie können wir eine ROC-Kurve für Entscheidungsbäume zeichnen?

Normalerweise können wir keine ROC-Kurve für die diskreten Klassifikatoren wie Entscheidungsbäume zeichnen. Habe ich recht? Gibt es eine Möglichkeit, eine ROC-Kurve für Dtrees zu zeichnen?

13 roc cart

1

Verbindungen zwischen

Beim maschinellen Lernen können wir den Bereich unter der ROC-Kurve (oft als AUC oder AUROC abgekürzt ) verwenden, um zusammenzufassen, wie gut ein System zwischen zwei Kategorien unterscheiden kann. In der Signaldetektionstheorie wird häufig der d'd'd' (Empfindlichkeitsindex) für einen ähnlichen Zweck verwendet. Die beiden sind eng miteinander verbunden, und ich …

13 machine-learning roc auc signal-detection d-prime

1

Was ist der Unterschied zwischen GINI- und AUC-Kurveninterpretation?

Wir haben die GINI-Kurve mit dem Lift erstellt, der mithilfe des Prozentsatzes von Gut und Schlecht für die Scorecard-Modellierung erstellt wurde. Was ich jedoch untersucht habe, ist, dass die ROC-Kurve unter Verwendung der Verwirrungsmatrix mit der Spezifität (1 - True Negative) als X-Achse und der Empfindlichkeit (True Positive) als Y-Achse …

12 roc gini

4

In R, wie der p-Wert für die Fläche unter ROC berechnet wird

Ich habe Mühe, einen Weg zu finden, um den p-Wert für das Gebiet unter einer Empfängeroperatorcharakteristik (ROC) zu berechnen. Ich habe eine kontinuierliche Variable und ein diagnostisches Testergebnis. Ich möchte sehen, ob AUROC statistisch signifikant ist. Ich habe viele Pakete gefunden, die sich mit ROC-Kurven befassen: pROC, ROCR, caTools, verification, …

12 r p-value roc

3

ROC-Kurve, welche die Diagonale kreuzt

Im Moment führe ich einen binären Klassifikator aus. Wenn ich die ROC-Kurve zeichne, bekomme ich am Anfang einen guten Auftrieb, dann ändert sich die Richtung und kreuzt die Diagonale, dann natürlich wieder nach oben, wodurch die Kurve eine geneigte S-Form erhält. Was kann eine Interpretation / Erklärung für diesen Effekt …

12 roc

5

Was sagen ROC-Kurven Ihnen, dass traditionelle Inferenz nicht würde?

Wann tendieren Sie dazu, ROC-Kurven gegenüber anderen Tests zu verwenden, um die Vorhersagefähigkeit einiger Messungen für ein Ergebnis zu bestimmen? Was macht ROC-Kurven im Umgang mit diskreten Ergebnissen (lebendig / tot, gegenwärtig / abwesend) leistungsfähiger oder weniger leistungsfähig als so etwas wie ein Chi-Quadrat?

12 regression roc

2

Entspricht der Würfelkoeffizient der Genauigkeit?

Ich stoße auf den Würfelkoeffizienten für Volumenähnlichkeit ( https://en.wikipedia.org/wiki/S%C3%B8rensen%E2%80%93Dice_coefficient ) und Genauigkeit ( https://en.wikipedia.org/wiki/Accuracy_and_precision) ). Es scheint mir, dass diese beiden Maßnahmen gleich sind. Irgendwelche Gedanken?

12 descriptive-statistics roc accuracy precision-recall auc

1

So wählen Sie die Grenzwahrscheinlichkeit für eine logistische Regression für seltene Ereignisse

Ich habe 100.000 Beobachtungen (9 Dummy-Indikatorvariablen) mit 1000 positiven. Die logistische Regression sollte in diesem Fall gut funktionieren, aber die Cutoff-Wahrscheinlichkeit verwirrt mich. In der allgemeinen Literatur wählen wir einen Cutoff von 50%, um Einsen und Nullen vorherzusagen. Ich kann dies nicht tun, da mein Modell einen Maximalwert von ~ …

11 regression logistic classification generalized-linear-model roc

1

Bewertung von Klassifikatoren: Lernkurven gegen ROC-Kurven

Ich möchte 2 verschiedene Klassifizierer für ein Problem der Textklassifizierung in mehreren Klassen vergleichen, die große Trainingsdatensätze verwenden. Ich bezweifle, ob ich ROC-Kurven oder Lernkurven verwenden sollte, um die beiden Klassifikatoren zu vergleichen. Einerseits sind Lernkurven hilfreich, um die Größe des Trainingsdatensatzes zu bestimmen, da Sie die Größe des Datensatzes …

11 machine-learning classification roc accuracy

3

Der Klassifikator „Gut“ hat meine Präzisions-Rückruf-Kurve zerstört. Was ist passiert?

Ich arbeite mit unausgeglichenen Daten, wobei es für jede Klasse = 1 ungefähr 40 Fälle von Klasse = 0 gibt. Ich kann die Klassen anhand einzelner Merkmale vernünftigerweise unterscheiden, und das Training eines naiven Bayes- und SVM-Klassifikators auf 6 Merkmale und ausgewogene Daten ergab eine bessere Unterscheidung (ROC-Kurven unten). Das …

11 classification svm roc naive-bayes precision-recall

Als «roc» getaggte Fragen