Statistiken und Big Data precision-recall

3

Ich verstehe die formalen Unterschiede zwischen ihnen, was ich wissen möchte, ist, wenn es relevanter ist, eins gegen das andere zu verwenden. Bieten sie immer einen ergänzenden Einblick in die Leistung eines bestimmten Klassifizierungs- / Erkennungssystems? Wann ist es sinnvoll, sie beide beispielsweise in einer Zeitung zu veröffentlichen? statt nur …

159 machine-learning roc precision-recall

3

Wie berechnen Sie die Genauigkeit und den Rückruf für die Klassifizierung mehrerer Klassen mithilfe der Verwirrungsmatrix?

Ich frage mich, wie man die Präzision berechnet und eine Verwirrungsmatrix für ein Klassifizierungsproblem mit mehreren Klassen verwendet. Insbesondere kann eine Beobachtung nur ihrer wahrscheinlichsten Klasse / Kennzeichnung zugeordnet werden. Ich würde gerne berechnen: Präzision = TP / (TP + FP) Rückruf = TP / (TP + FN) für jede …

92 machine-learning classification precision-recall multi-class

8

Wie berechnet man die Genauigkeit / den Rückruf für die Klassifizierung mit mehreren Klassen und mehreren Etiketten?

Ich frage mich, wie man Genauigkeits- und Rückrufmaße für die Multiklassen-Multilabel-Klassifizierung berechnet, dh eine Klassifizierung, bei der es mehr als zwei Labels gibt und bei der jede Instanz mehrere Labels haben kann.

72 machine-learning classification precision-recall multi-class

9

Wie werden F-Messwerte interpretiert?

Ich würde gerne wissen, wie man einen Unterschied von f-Messwerten interpretiert. Ich weiß, dass das f-Maß ein ausgewogenes Mittel zwischen Präzision und Erinnerung ist, aber ich frage nach der praktischen Bedeutung eines Unterschieds bei den f-Maßen. Wenn beispielsweise ein Klassifikator C1 eine Genauigkeit von 0,4 und ein anderer Klassifikator C2 …

41 classification precision-recall

4

Optimierung für Precision-Recall-Kurven bei Klassenungleichgewicht

Ich habe eine Klassifizierungsaufgabe mit einer Reihe von Prädiktoren (von denen einer der informativste ist), und ich verwende das MARS- Modell, um meinen Klassifizierer zu konstruieren (ich interessiere mich für ein einfaches Modell und würde glms zur Veranschaulichung verwenden) auch gut). Jetzt habe ich ein großes Klassenungleichgewicht in den Trainingsdaten …

30 machine-learning roc precision-recall unbalanced-classes data-visualization

1

Was bedeuten die Zahlen im Klassifizierungsbericht von sklearn?

Ich habe unten ein Beispiel aus der Dokumentation sklearn.metrics.classification_report von sklearn. Was ich nicht verstehe, ist, warum es für jede Klasse, für die ich glaube, dass die Klasse das Prädiktorlabel ist, Werte für f1-Punktzahl, Präzision und Rückruf gibt? Ich dachte, der f1-Score sagt Ihnen die Gesamtgenauigkeit des Modells. Was sagt …

29 machine-learning python scikit-learn precision-recall

2

Fläche unter Precision-Recall-Kurve (AUC der PR-Kurve) und Average Precision (AP)

Ist Average Precision (AP) der Bereich unter Precision-Recall Curve (AUC der PR-Kurve)? BEARBEITEN: Hier ist ein Kommentar zum Unterschied zwischen PR AUC und AP. Die AUC wird durch trapezförmige Interpolation der Präzision erhalten. Eine alternative und in der Regel fast äquivalente Metrik ist die Average Precision (AP), die als info.ap …

27 scikit-learn precision-recall auc average-precision

1

F1 / Würfel-Score gegen IoU

Ich war verwirrt über die Unterschiede zwischen der F1-Punktzahl, der Würfel-Punktzahl und der IoU (Schnittpunkt über der Vereinigung). Inzwischen habe ich herausgefunden, dass F1 und Würfel dasselbe bedeuten (richtig?) Und IoU eine sehr ähnliche Formel wie die anderen beiden hat. F1 / Würfel:2 TP2 TP+ FP+ FN2TP2TP+FP+FN\frac{2TP}{2TP+FP+FN} IoU / Jaccard:TPTP+ …

24 terminology accuracy precision-recall

3

Klassifizierungs- / Bewertungsmetriken für stark unausgeglichene Daten

Ich beschäftige mich mit einem (kreditbewertungsähnlichen) Problem der Betrugserkennung. Insofern besteht ein sehr unausgewogenes Verhältnis zwischen betrügerischen und nicht betrügerischen Beobachtungen. http://blog.revolutionanalytics.com/2016/03/com_class_eval_metrics_r.html bietet einen hervorragenden Überblick über verschiedene Klassifizierungsmetriken. Precision and Recalloder kappabeide scheinen eine gute Wahl zu sein: Eine Möglichkeit, die Ergebnisse solcher Klassifikatoren zu rechtfertigen, besteht darin, sie …

22 classification unbalanced-classes precision-recall cohens-kappa model-evaluation

4

Was sind die korrekten Werte für Präzision und Rückruf in Randfällen?

Präzision ist definiert als: p = true positives / (true positives + false positives) Ist es richtig, dass sich die Genauigkeit 1 nähert true positivesund false positivessich 0 nähert? Gleiche Frage zum Rückruf: r = true positives / (true positives + false negatives) Ich führe derzeit einen statistischen Test durch, …

20 precision-recall data-visualization logarithm references r networks data-visualization standard-deviation probability binomial negative-binomial r categorical-data aggregation plyr survival python regression r t-test bayesian logistic data-transformation confidence-interval t-test interpretation distributions data-visualization pca genetics r finance maximum probability standard-deviation probability r information-theory references computational-statistics computing references engineering-statistics t-test hypothesis-testing independence definition r censoring negative-binomial poisson-distribution variance mixed-model correlation intraclass-correlation aggregation interpretation effect-size hypothesis-testing goodness-of-fit normality-assumption small-sample distributions regression normality-assumption t-test anova confidence-interval z-statistic finance hypothesis-testing mean model-selection information-geometry bayesian frequentist terminology type-i-and-ii-errors cross-validation smoothing splines data-transformation normality-assumption variance-stabilizing r spss stata python correlation logistic logit link-function regression predictor pca factor-analysis r bayesian maximum-likelihood mcmc conditional-probability statistical-significance chi-squared proportion estimation error shrinkage application steins-phenomenon

3

Fläche unter der ROC-Kurve oder Fläche unter der PR-Kurve für unausgeglichene Daten?

Ich habe einige Zweifel, welches Leistungsmaß verwendet werden soll, Bereich unter der ROC-Kurve (TPR als Funktion von FPR) oder Bereich unter der Genauigkeits-Rückruf-Kurve (Genauigkeit als Funktion von Rückruf). Meine Daten sind unausgewogen, dh die Anzahl der negativen Instanzen ist viel größer als die der positiven Instanzen. Ich benutze die Ausgabe …

16 r machine-learning roc precision-recall auc

3

ROC vs Precision-Recall-Kurven bei unausgeglichenem Datensatz

Ich habe gerade das Lesen dieses Diskussion . Sie argumentieren, dass PR AUC bei unausgeglichenen Datensätzen besser ist als ROC AUC. Zum Beispiel haben wir 10 Proben im Testdatensatz. 9 Proben sind positiv und 1 ist negativ. Wir haben ein schreckliches Modell, das alles Positive vorhersagt. Wir haben also eine …

16 machine-learning model-selection roc unbalanced-classes precision-recall

4

Die Maschinengenauigkeit zur Steigerung des Gradienten nimmt mit zunehmender Anzahl von Iterationen ab

Ich experimentiere mit dem Algorithmus der Gradientenverstärkungsmaschine über das caretPaket in R. Unter Verwendung eines kleinen Datensatzes für Hochschulzulassungen habe ich den folgenden Code ausgeführt: library(caret) ### Load admissions dataset. ### mydata <- read.csv("http://www.ats.ucla.edu/stat/data/binary.csv") ### Create yes/no levels for admission. ### mydata$admit_factor[mydata$admit==0] <- "no" mydata$admit_factor[mydata$admit==1] <- "yes" ### Gradient boosting …

15 machine-learning caret boosting gbm hypothesis-testing t-test panel-data psychometrics intraclass-correlation generalized-linear-model categorical-data binomial model intercept causality cross-correlation distributions ranks p-value z-test sign-test time-series references terminology cross-correlation definition probability distributions beta-distribution inverse-gamma missing-data paired-comparisons paired-data clustered-standard-errors cluster-sample time-series arima logistic binary-data odds-ratio medicine hypothesis-testing wilcoxon-mann-whitney unsupervised-learning hierarchical-clustering neural-networks train clustering k-means regression ordinal-data change-scores machine-learning experiment-design roc precision-recall auc stata multilevel-analysis regression fitting nonlinear jmp r data-visualization gam gamm4 r lme4-nlme many-categories regression causality instrumental-variables endogeneity controlling-for-a-variable

3

Vorschläge für kostensensitives Lernen in einem sehr unausgewogenen Umfeld

Ich habe einen Datensatz mit einigen Millionen Zeilen und ~ 100 Spalten. Ich möchte ungefähr 1% der Beispiele im Datensatz erkennen, die zu einer gemeinsamen Klasse gehören. Ich habe eine minimale Genauigkeitsbeschränkung, aber aufgrund der sehr asymmetrischen Kosten bin ich nicht besonders an einem bestimmten Rückruf interessiert (solange mir nicht …

15 machine-learning classification unbalanced-classes precision-recall

5

Welchen Einfluss hat die Erhöhung der Trainingsdaten auf die Genauigkeit des Gesamtsystems?

Kann mir jemand mit möglichen Beispielen zusammenfassen, in welchen Situationen eine Erhöhung der Trainingsdaten das Gesamtsystem verbessert? Wann stellen wir fest, dass das Hinzufügen weiterer Trainingsdaten möglicherweise zu einer Überanpassung der Daten führt und die Testdaten nicht genau genug sind? Dies ist eine sehr unspezifische Frage. Wenn Sie sie jedoch …

15 machine-learning classification dataset precision-recall

Als «precision-recall» getaggte Fragen