Als «scoring-rules» getaggte Fragen

Bewertungsregeln werden verwendet, um die Genauigkeit vorhergesagter Wahrscheinlichkeiten oder allgemeiner der Vorhersagedichten zu bewerten. Beispiele für Bewertungsregeln sind die logarithmische, Brier-, sphärische, eingestufte Wahrscheinlichkeit sowie der Dawid-Sebastiani-Score und die prädiktive Abweichung.

7
Warum ist Genauigkeit nicht das beste Maß für die Beurteilung von Klassifizierungsmodellen?
Dies ist eine allgemeine Frage, die hier indirekt mehrmals gestellt wurde, aber es fehlt eine einzige maßgebliche Antwort. Es wäre großartig, eine ausführliche Antwort auf diese Frage als Referenz zu haben. Die Genauigkeit , der Anteil der korrekten Klassifizierungen an allen Klassifizierungen, ist sehr einfach und sehr "intuitiv" zu messen, …
3
Was ist die Hauptursache für das Problem des Klassenungleichgewichts?
Ich habe in letzter Zeit viel über das "Klassenungleichgewichtsproblem" beim maschinellen / statistischen Lernen nachgedacht und gehe immer tiefer in das Gefühl ein, dass ich einfach nicht verstehe, was los ist. Lassen Sie mich zuerst meine Begriffe definieren (oder versuchen, sie zu definieren): Das Problem des Klassenungleichgewichts beim maschinellen / …
1
Fehlermetriken zur Kreuzvalidierung von Poisson-Modellen
Ich überprüfe ein Modell, das versucht, eine Zählung vorherzusagen. Wenn dies ein Problem mit der binären Klassifizierung wäre, würde ich die Out-of-Fold-AUC berechnen, und wenn dies ein Regressionsproblem wäre, würde ich den Out-of-Fold-RMSE oder MAE berechnen. Welche Fehlermetriken kann ich für ein Poisson-Modell verwenden, um die "Genauigkeit" der Vorhersagen außerhalb …
2
Wann ist es angebracht, eine falsche Bewertungsregel anzuwenden?
Merkle & Steyvers (2013) schreiben: Um eine korrekte Bewertungsregel formal zu definieren, sei eine probabilistische Vorhersage eines Bernoulli-Versuchs mit echter Erfolgswahrscheinlichkeit . Richtige Bewertungsregeln sind Metriken, deren erwartete Werte minimiert werden, wenn .fffdddpppf= pf=pf = p Ich verstehe, dass dies gut ist, weil wir die Prognostiker ermutigen möchten, Prognosen zu …
6
Wie wählt man zwischen ROC AUC und F1 Score?
Ich habe kürzlich einen Kaggle-Wettbewerb abgeschlossen, bei dem der ROC AUC-Score gemäß den Wettbewerbsanforderungen verwendet wurde. Vor diesem Projekt habe ich normalerweise den Wert f1 als Metrik zur Messung der Modellleistung verwendet. In Zukunft frage ich mich, wie ich zwischen diesen beiden Metriken wählen soll. Wann welche verwenden und welche …
1
Auswahl unter den richtigen Bewertungsregeln
In den meisten Ressourcen zu den Regeln für die richtige Bewertung werden verschiedene Bewertungsregeln wie Protokollverlust, Brier-Punktzahl oder sphärische Bewertung erwähnt. Häufig geben sie jedoch keine Orientierungshilfe zu den Unterschieden zwischen ihnen. (Anlage A: Wikipedia .) Die Auswahl des Modells, das die logarithmische Bewertung maximiert, entspricht der Auswahl des Maximum-Likelihood-Modells, …
1
Was bedeutet es, dass AUC eine semi-korrekte Bewertungsregel ist?
Eine korrekte Bewertungsregel ist eine Regel, die durch ein "echtes" Modell maximiert wird und kein "Absichern" oder Spielen des Systems erlaubt (absichtlich unterschiedliche Ergebnisse zu melden, wie es der wahre Glaube des Modells ist, um die Bewertung zu verbessern). Der Brier-Score ist korrekt, die Genauigkeit (Anteil richtig klassifiziert) ist nicht …
1
Ist Genauigkeit eine falsche Bewertungsregel in einer binären Klassifizierungseinstellung?
Ich habe vor kurzem über die richtigen Bewertungsregeln für Wahrscheinlichkeitsklassifikatoren gelernt. In mehreren Beiträgen auf dieser Website wurde betont, dass Genauigkeit eine falsche Bewertungsregel ist und nicht zur Bewertung der Qualität von Vorhersagen verwendet werden sollte, die von einem probabilistischen Modell wie der logistischen Regression generiert werden. Einige wissenschaftliche Arbeiten, …
2
Wie wählt man die optimale Behälterbreite beim Kalibrieren von Wahrscheinlichkeitsmodellen?
Hintergrund: Hier gibt es einige gute Fragen und Antworten zur Kalibrierung von Modellen, die die Wahrscheinlichkeiten eines eintretenden Ergebnisses vorhersagen. Beispielsweise Brier-Score und seine Zerlegung in Auflösung, Unsicherheit und Zuverlässigkeit . Kalibrierungsdiagramme und isotonische Regression . Diese Methoden erfordern häufig die Verwendung einer Binning-Methode für die vorhergesagten Wahrscheinlichkeiten, sodass das …
1
Welches Deep-Learning-Modell kann Kategorien klassifizieren, die sich nicht gegenseitig ausschließen?
Beispiele: Ich habe einen Satz in der Stellenbeschreibung: "Java Senior Engineer in UK". Ich möchte ein Deep-Learning-Modell verwenden, um es als zwei Kategorien vorherzusagen: English und IT jobs. Wenn ich ein traditionelles Klassifizierungsmodell verwende, kann es nur 1 Etikett mit softmaxFunktion auf der letzten Ebene vorhersagen . Somit kann ich …
9 machine-learning  deep-learning  natural-language  tensorflow  sampling  distance  non-independent  application  regression  machine-learning  logistic  mixed-model  control-group  crossover  r  multivariate-analysis  ecology  procrustes-analysis  vegan  regression  hypothesis-testing  interpretation  chi-squared  bootstrap  r  bioinformatics  bayesian  exponential  beta-distribution  bernoulli-distribution  conjugate-prior  distributions  bayesian  prior  beta-distribution  covariance  naive-bayes  smoothing  laplace-smoothing  distributions  data-visualization  regression  probit  penalized  estimation  unbiased-estimator  fisher-information  unbalanced-classes  bayesian  model-selection  aic  multiple-regression  cross-validation  regression-coefficients  nonlinear-regression  standardization  naive-bayes  trend  machine-learning  clustering  unsupervised-learning  wilcoxon-mann-whitney  z-score  econometrics  generalized-moments  method-of-moments  machine-learning  conv-neural-network  image-processing  ocr  machine-learning  neural-networks  conv-neural-network  tensorflow  r  logistic  scoring-rules  probability  self-study  pdf  cdf  classification  svm  resampling  forecasting  rms  volatility-forecasting  diebold-mariano  neural-networks  prediction-interval  uncertainty 
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.