Statistiken und Big Data auc

1

Warum sollte der normalisierte Gini-Score anstelle der AUC als Bewertung verwendet werden?

Kaggles Wettbewerb Die Safe Driver Prediction von Porto Seguro verwendet den normalisierten Gini-Score als Bewertungsmaßstab. Dies hat mich neugierig gemacht, welche Gründe für diese Entscheidung sprechen . Was sind die Vorteile der Verwendung eines normalisierten Gini-Scores anstelle der gebräuchlichsten Metriken wie AUC für die Auswertung?

14 classification auc model-evaluation gini

1

logloss vs gini / auc

Ich habe zwei Modelle trainiert (binäre Klassifikatoren mit h2o AutoML) und möchte eines zur Verwendung auswählen. Ich habe folgende Ergebnisse: model_id auc logloss logloss_train logloss_valid gini_train gini_valid DL_grid_1 0.542694 0.287469 0.092717 0.211956 0.872932 0.312975 DL_grid_2 0.543685 0.251431 0.082616 0.186196 0.900955 0.312662 Die Spalten aucund loglosssind die Kreuzvalidierungsmetriken (bei der Kreuzvalidierung …

14 model-selection validation auc gini log-loss

3

Wie lässt sich die probabilistische Interpretation der AUC ableiten?

Warum ist der Bereich unter der ROC-Kurve die Wahrscheinlichkeit, dass ein Klassifizierer eine zufällig ausgewählte "positive" Instanz (aus den abgerufenen Vorhersagen) höher einstuft als eine zufällig ausgewählte "positive" Instanz (aus der ursprünglichen positiven Klasse)? Wie kann man diese Aussage mathematisch unter Verwendung von Integralen beweisen und die CDFs und PDFs …

14 probability roc auc

1

Maximiert eine logistische Regressionsmaximierung zwangsläufig auch die AUC gegenüber linearen Modellen?

Ausgehend von einem Datensatz mit binären Ergebnissen und einer Prädiktormatrix schätzt das logistische Standardregressionsmodell die Koeffizienten , die die Binomialwahrscheinlichkeit maximieren. Wenn vollen Rang hat, ist eindeutig. Wenn keine perfekte Trennung vorliegt, ist sie endlich.y∈{0,1}ny∈{0,1}ny\in\{0,1\}^nX∈Rn×pX∈Rn×pX\in\mathbb{R}^{n\times p}βMLEβMLE\beta_{MLE}XXXβMLEβMLE\beta_{MLE} Maximiert dieses Maximum-Likelihood-Modell auch die ROC-AUC (aka Statistik) oder gibt es eine Koeffizientenschätzung die …

13 logistic maximum-likelihood auc

1

Vergleich zweier Modelle, wenn sich die ROC-Kurven kreuzen

Eine gebräuchliche Maßnahme zum Vergleich von zwei oder mehr Klassifizierungsmodellen besteht darin, die Fläche unter der ROC-Kurve (AUC) als Mittel zur indirekten Bewertung ihrer Leistung zu verwenden. In diesem Fall wird ein Modell mit einer größeren AUC normalerweise als leistungsstärker interpretiert als ein Modell mit einer kleineren AUC. Laut Vihinen, …

13 machine-learning classification roc auc model-evaluation

1

Bewerten Sie Random Forest: OOB vs CV

Wenn wir die Qualität einer zufälligen Gesamtstruktur beurteilen, zum Beispiel mithilfe der AUC, ist es angemessener, diese Mengen anhand der Out-of-Bag-Proben oder anhand des Hold-out-Satzes der Kreuzvalidierung zu berechnen. Ich habe gehört, dass die Berechnung über die OOB-Samples eine pessimistischere Einschätzung ergibt, aber ich verstehe nicht, warum.

13 cross-validation random-forest auc

3

Statistische Signifikanz (p-Wert) für den Vergleich zweier Klassifikatoren hinsichtlich (mittlerer) ROC AUC, Sensitivität und Spezifität

Ich habe einen Testsatz von 100 Fällen und zwei Klassifikatoren. Ich erstellte Vorhersagen und berechnete die ROC AUC, Sensitivität und Spezifität für beide Klassifikatoren. Frage 1: Wie kann ich den p-Wert berechnen, um zu überprüfen, ob einer in Bezug auf alle Scores (ROC AUC, Sensitivität, Spezifität) signifikant besser als der …

13 machine-learning statistical-significance roc auc sensitivity-specificity

1

Verbindungen zwischen

Beim maschinellen Lernen können wir den Bereich unter der ROC-Kurve (oft als AUC oder AUROC abgekürzt ) verwenden, um zusammenzufassen, wie gut ein System zwischen zwei Kategorien unterscheiden kann. In der Signaldetektionstheorie wird häufig der d'd'd' (Empfindlichkeitsindex) für einen ähnlichen Zweck verwendet. Die beiden sind eng miteinander verbunden, und ich …

13 machine-learning roc auc signal-detection d-prime

3

Ist mein Modell basierend auf dem Wert der Diagnosemetrik ( / AUC / Genauigkeit / RMSE usw.) gut?

Ich habe mein Modell angepasst und versuche zu verstehen, ob es etwas Gutes ist. Ich habe die empfohlenen Metriken berechnet, um sie zu bewerten ( / AUC / Genauigkeit / Vorhersagefehler / usw.), weiß aber nicht, wie ich sie interpretieren soll. Kurz gesagt, wie kann ich anhand der Metrik feststellen, …

12 goodness-of-fit r-squared accuracy auc diagnostic

2

Optimierung von auc vs logloss bei binären Klassifizierungsproblemen

Ich führe eine binäre Klassifizierungsaufgabe durch, bei der die Ergebniswahrscheinlichkeit angemessen niedrig ist (ca. 3%). Ich versuche zu entscheiden, ob ich durch AUC oder Protokollverlust optimieren möchte. Soweit ich verstanden habe, maximiert AUC die Fähigkeit des Modells, zwischen Klassen zu unterscheiden, während der Logloss die Divergenz zwischen tatsächlichen und geschätzten …

12 classification binary-data auc log-loss

2

Entspricht der Würfelkoeffizient der Genauigkeit?

Ich stoße auf den Würfelkoeffizienten für Volumenähnlichkeit ( https://en.wikipedia.org/wiki/S%C3%B8rensen%E2%80%93Dice_coefficient ) und Genauigkeit ( https://en.wikipedia.org/wiki/Accuracy_and_precision) ). Es scheint mir, dass diese beiden Maßnahmen gleich sind. Irgendwelche Gedanken?

12 descriptive-statistics roc accuracy precision-recall auc

2

Klassifikatoren anhand von AUROC oder Genauigkeit vergleichen?

Ich habe ein Problem mit der binären Klassifizierung und experimentiere mit verschiedenen Klassifizierern: Ich möchte die Klassifizierer vergleichen. Welches ist ein besseres Maß für die AUC oder Genauigkeit? Und warum? Raondom Forest: AUC: 0.828 Accuracy: 79.6667 % SVM: AUC: 0.542 Accuracy: 85.6667 %

11 machine-learning classification auc

1

R / mgcv: Warum produzieren te () und ti () Tensorprodukte unterschiedliche Oberflächen?

Das mgcvPaket für Rhat zwei Funktionen zum Anpassen von Tensorproduktwechselwirkungen: te()und ti(). Ich verstehe die grundlegende Arbeitsteilung zwischen den beiden (Anpassen einer nichtlinearen Wechselwirkung vs. Zerlegen dieser Wechselwirkung in Haupteffekte und eine Wechselwirkung). Was ich nicht verstehe, ist warum te(x1, x2)und ti(x1) + ti(x2) + ti(x1, x2)kann (leicht) unterschiedliche Ergebnisse …

11 r gam mgcv conditional-probability mixed-model references bayesian estimation conditional-probability machine-learning optimization gradient-descent r hypothesis-testing wilcoxon-mann-whitney time-series bayesian inference change-point time-series anova repeated-measures statistical-significance bayesian contingency-tables regression prediction quantiles classification auc k-means scikit-learn regression spatial circular-statistics t-test effect-size cohens-d r cross-validation feature-selection caret machine-learning modeling python optimization frequentist correlation sample-size normalization group-differences heteroscedasticity independence generalized-least-squares lme4-nlme references mcmc metropolis-hastings optimization r logistic feature-selection separation clustering k-means normal-distribution gaussian-mixture kullback-leibler java spark-mllib data-visualization categorical-data barplot hypothesis-testing statistical-significance chi-squared type-i-and-ii-errors pca scikit-learn conditional-expectation statistical-significance meta-analysis intuition r time-series multivariate-analysis garch machine-learning classification data-mining missing-data cart regression cross-validation matrix-decomposition categorical-data repeated-measures chi-squared assumptions contingency-tables prediction binary-data trend test-for-trend matrix-inverse anova categorical-data regression-coefficients standard-error r distributions exponential interarrival-time copula log-likelihood time-series forecasting prediction-interval mean standard-error meta-analysis meta-regression network-meta-analysis systematic-review normal-distribution multiple-regression generalized-linear-model poisson-distribution poisson-regression r sas cohens-kappa

3

Was ist eine gute AUC für eine Präzisionsrückrufkurve?

Da ich einen sehr unausgewogenen Datensatz habe (9% positive Ergebnisse), entschied ich, dass eine Präzisionsrückrufkurve geeigneter ist als eine ROC-Kurve. Ich habe das analoge zusammenfassende Flächenmaß unter der PR-Kurve erhalten (.49, wenn Sie interessiert sind), bin mir aber nicht sicher, wie ich es interpretieren soll. Ich habe gehört, dass .8 …

11 classification precision-recall auc

1

Warum haben Anova () und drop1 () unterschiedliche Antworten für GLMMs geliefert?

Ich habe ein GLMM der Form: lmer(present? ~ factor1 + factor2 + continuous + factor1*continuous + (1 | factor3), family=binomial) Wenn ich benutze drop1(model, test="Chi"), erhalte ich andere Ergebnisse als wenn ich Anova(model, type="III")aus dem Autopaket oder benutze summary(model). Diese beiden letzteren geben die gleichen Antworten. Unter Verwendung einer Reihe …

10 r anova glmm r mixed-model bootstrap sample-size cross-validation roc auc sampling stratification random-allocation logistic stata interpretation proportion r regression multiple-regression linear-model lm r cross-validation cart rpart logistic generalized-linear-model econometrics experiment-design causality instrumental-variables random-allocation predictive-models data-mining estimation contingency-tables epidemiology standard-deviation mean ancova psychology statistical-significance cross-validation synthetic-data poisson-distribution negative-binomial bioinformatics sequence-analysis distributions binomial classification k-means distance unsupervised-learning euclidean correlation chi-squared spearman-rho forecasting excel exponential-smoothing binomial sample-size r change-point wilcoxon-signed-rank ranks clustering matlab covariance covariance-matrix normal-distribution simulation random-generation bivariate standardization confounding z-statistic forecasting arima minitab poisson-distribution negative-binomial poisson-regression overdispersion probability self-study markov-process estimation maximum-likelihood classification pca group-differences chi-squared survival missing-data contingency-tables anova proportion

Als «auc» getaggte Fragen