Als «precision-recall» getaggte Fragen

P & R sind eine Möglichkeit, die Relevanz einer Reihe von abgerufenen Instanzen zu messen. Die Genauigkeit ist der Prozentsatz der korrekten Instanzen aller abgerufenen Instanzen. Die Relevanz ist der Prozentsatz der abgerufenen echten Instanzen. Das harmonische Mittel von P & R ist der F1-Score. P & R werden im Data Mining verwendet, um Klassifizierer auszuwerten.

3
ROC vs Precision-and-Recall-Kurven
Ich verstehe die formalen Unterschiede zwischen ihnen, was ich wissen möchte, ist, wenn es relevanter ist, eins gegen das andere zu verwenden. Bieten sie immer einen ergänzenden Einblick in die Leistung eines bestimmten Klassifizierungs- / Erkennungssystems? Wann ist es sinnvoll, sie beide beispielsweise in einer Zeitung zu veröffentlichen? statt nur …

3
Wie berechnen Sie die Genauigkeit und den Rückruf für die Klassifizierung mehrerer Klassen mithilfe der Verwirrungsmatrix?
Ich frage mich, wie man die Präzision berechnet und eine Verwirrungsmatrix für ein Klassifizierungsproblem mit mehreren Klassen verwendet. Insbesondere kann eine Beobachtung nur ihrer wahrscheinlichsten Klasse / Kennzeichnung zugeordnet werden. Ich würde gerne berechnen: Präzision = TP / (TP + FP) Rückruf = TP / (TP + FN) für jede …


9
Wie werden F-Messwerte interpretiert?
Ich würde gerne wissen, wie man einen Unterschied von f-Messwerten interpretiert. Ich weiß, dass das f-Maß ein ausgewogenes Mittel zwischen Präzision und Erinnerung ist, aber ich frage nach der praktischen Bedeutung eines Unterschieds bei den f-Maßen. Wenn beispielsweise ein Klassifikator C1 eine Genauigkeit von 0,4 und ein anderer Klassifikator C2 …

4
Optimierung für Precision-Recall-Kurven bei Klassenungleichgewicht
Ich habe eine Klassifizierungsaufgabe mit einer Reihe von Prädiktoren (von denen einer der informativste ist), und ich verwende das MARS- Modell, um meinen Klassifizierer zu konstruieren (ich interessiere mich für ein einfaches Modell und würde glms zur Veranschaulichung verwenden) auch gut). Jetzt habe ich ein großes Klassenungleichgewicht in den Trainingsdaten …



1
F1 / Würfel-Score gegen IoU
Ich war verwirrt über die Unterschiede zwischen der F1-Punktzahl, der Würfel-Punktzahl und der IoU (Schnittpunkt über der Vereinigung). Inzwischen habe ich herausgefunden, dass F1 und Würfel dasselbe bedeuten (richtig?) Und IoU eine sehr ähnliche Formel wie die anderen beiden hat. F1 / Würfel:2 TP2 TP+ FP+ FN2TP2TP+FP+FN\frac{2TP}{2TP+FP+FN} IoU / Jaccard:TPTP+ …

3
Klassifizierungs- / Bewertungsmetriken für stark unausgeglichene Daten
Ich beschäftige mich mit einem (kreditbewertungsähnlichen) Problem der Betrugserkennung. Insofern besteht ein sehr unausgewogenes Verhältnis zwischen betrügerischen und nicht betrügerischen Beobachtungen. http://blog.revolutionanalytics.com/2016/03/com_class_eval_metrics_r.html bietet einen hervorragenden Überblick über verschiedene Klassifizierungsmetriken. Precision and Recalloder kappabeide scheinen eine gute Wahl zu sein: Eine Möglichkeit, die Ergebnisse solcher Klassifikatoren zu rechtfertigen, besteht darin, sie …

4
Was sind die korrekten Werte für Präzision und Rückruf in Randfällen?
Präzision ist definiert als: p = true positives / (true positives + false positives) Ist es richtig, dass sich die Genauigkeit 1 nähert true positivesund false positivessich 0 nähert? Gleiche Frage zum Rückruf: r = true positives / (true positives + false negatives) Ich führe derzeit einen statistischen Test durch, …
20 precision-recall  data-visualization  logarithm  references  r  networks  data-visualization  standard-deviation  probability  binomial  negative-binomial  r  categorical-data  aggregation  plyr  survival  python  regression  r  t-test  bayesian  logistic  data-transformation  confidence-interval  t-test  interpretation  distributions  data-visualization  pca  genetics  r  finance  maximum  probability  standard-deviation  probability  r  information-theory  references  computational-statistics  computing  references  engineering-statistics  t-test  hypothesis-testing  independence  definition  r  censoring  negative-binomial  poisson-distribution  variance  mixed-model  correlation  intraclass-correlation  aggregation  interpretation  effect-size  hypothesis-testing  goodness-of-fit  normality-assumption  small-sample  distributions  regression  normality-assumption  t-test  anova  confidence-interval  z-statistic  finance  hypothesis-testing  mean  model-selection  information-geometry  bayesian  frequentist  terminology  type-i-and-ii-errors  cross-validation  smoothing  splines  data-transformation  normality-assumption  variance-stabilizing  r  spss  stata  python  correlation  logistic  logit  link-function  regression  predictor  pca  factor-analysis  r  bayesian  maximum-likelihood  mcmc  conditional-probability  statistical-significance  chi-squared  proportion  estimation  error  shrinkage  application  steins-phenomenon 

3
Fläche unter der ROC-Kurve oder Fläche unter der PR-Kurve für unausgeglichene Daten?
Ich habe einige Zweifel, welches Leistungsmaß verwendet werden soll, Bereich unter der ROC-Kurve (TPR als Funktion von FPR) oder Bereich unter der Genauigkeits-Rückruf-Kurve (Genauigkeit als Funktion von Rückruf). Meine Daten sind unausgewogen, dh die Anzahl der negativen Instanzen ist viel größer als die der positiven Instanzen. Ich benutze die Ausgabe …


4
Die Maschinengenauigkeit zur Steigerung des Gradienten nimmt mit zunehmender Anzahl von Iterationen ab
Ich experimentiere mit dem Algorithmus der Gradientenverstärkungsmaschine über das caretPaket in R. Unter Verwendung eines kleinen Datensatzes für Hochschulzulassungen habe ich den folgenden Code ausgeführt: library(caret) ### Load admissions dataset. ### mydata <- read.csv("http://www.ats.ucla.edu/stat/data/binary.csv") ### Create yes/no levels for admission. ### mydata$admit_factor[mydata$admit==0] <- "no" mydata$admit_factor[mydata$admit==1] <- "yes" ### Gradient boosting …
15 machine-learning  caret  boosting  gbm  hypothesis-testing  t-test  panel-data  psychometrics  intraclass-correlation  generalized-linear-model  categorical-data  binomial  model  intercept  causality  cross-correlation  distributions  ranks  p-value  z-test  sign-test  time-series  references  terminology  cross-correlation  definition  probability  distributions  beta-distribution  inverse-gamma  missing-data  paired-comparisons  paired-data  clustered-standard-errors  cluster-sample  time-series  arima  logistic  binary-data  odds-ratio  medicine  hypothesis-testing  wilcoxon-mann-whitney  unsupervised-learning  hierarchical-clustering  neural-networks  train  clustering  k-means  regression  ordinal-data  change-scores  machine-learning  experiment-design  roc  precision-recall  auc  stata  multilevel-analysis  regression  fitting  nonlinear  jmp  r  data-visualization  gam  gamm4  r  lme4-nlme  many-categories  regression  causality  instrumental-variables  endogeneity  controlling-for-a-variable 

3
Vorschläge für kostensensitives Lernen in einem sehr unausgewogenen Umfeld
Ich habe einen Datensatz mit einigen Millionen Zeilen und ~ 100 Spalten. Ich möchte ungefähr 1% der Beispiele im Datensatz erkennen, die zu einer gemeinsamen Klasse gehören. Ich habe eine minimale Genauigkeitsbeschränkung, aber aufgrund der sehr asymmetrischen Kosten bin ich nicht besonders an einem bestimmten Rückruf interessiert (solange mir nicht …

5
Welchen Einfluss hat die Erhöhung der Trainingsdaten auf die Genauigkeit des Gesamtsystems?
Kann mir jemand mit möglichen Beispielen zusammenfassen, in welchen Situationen eine Erhöhung der Trainingsdaten das Gesamtsystem verbessert? Wann stellen wir fest, dass das Hinzufügen weiterer Trainingsdaten möglicherweise zu einer Überanpassung der Daten führt und die Testdaten nicht genau genug sind? Dies ist eine sehr unspezifische Frage. Wenn Sie sie jedoch …

Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.