Ich verstehe die formalen Unterschiede zwischen ihnen, was ich wissen möchte, ist, wenn es relevanter ist, eins gegen das andere zu verwenden. Bieten sie immer einen ergänzenden Einblick in die Leistung eines bestimmten Klassifizierungs- / Erkennungssystems? Wann ist es sinnvoll, sie beide beispielsweise in einer Zeitung zu veröffentlichen? statt nur …
Ich bin daran interessiert, die Fläche unter der Kurve (AUC) oder die c-Statistik von Hand für ein binäres logistisches Regressionsmodell zu berechnen. Zum Beispiel habe ich im Validierungsdatensatz den wahren Wert für die abhängige Variable, Aufbewahrung (1 = beibehalten; 0 = nicht beibehalten), sowie einen vorhergesagten Aufbewahrungsstatus für jede Beobachtung, …
Mit anderen Worten, anstatt ein Zwei-Klassen-Problem zu haben, beschäftige ich mich mit 4 Klassen und möchte immer noch die Leistung unter Verwendung der AUC bewerten.
Ich habe Probleme, die ROC-Kurve zu verstehen. Gibt es einen Vorteil / eine Verbesserung in der Fläche unter der ROC-Kurve, wenn ich aus jeder eindeutigen Teilmenge des Trainingssatzes verschiedene Modelle baue und sie zur Erstellung einer Wahrscheinlichkeit verwende? Wenn zum Beispiel Werte von { a , a , a , …
Ich habe die Daten eines Tests, mit dem sich normale und Tumorzellen unterscheiden lassen. Laut ROC-Kurve sieht es für diesen Zweck gut aus (Fläche unter der Kurve ist 0,9): Meine Fragen sind: Wie wird der Grenzwert für diesen Test und sein Konfidenzintervall bestimmt, in dem die Messwerte als nicht eindeutig …
Ich habe eine Klassifizierungsaufgabe mit einer Reihe von Prädiktoren (von denen einer der informativste ist), und ich verwende das MARS- Modell, um meinen Klassifizierer zu konstruieren (ich interessiere mich für ein einfaches Modell und würde glms zur Veranschaulichung verwenden) auch gut). Jetzt habe ich ein großes Klassenungleichgewicht in den Trainingsdaten …
Ich bin etwas verwirrt über die Area Under Curve (AUC) von ROC und die allgemeine Genauigkeit. Wird die AUC proportional zur Gesamtgenauigkeit sein? Mit anderen Worten, wenn wir eine größere Gesamtgenauigkeit haben, werden wir definitiv eine größere AUC bekommen? Oder sind sie per definitionem positiv korreliert? Wenn sie positiv korreliert …
Akaike Information Criterion (AIC) und die c-Statistik (Fläche unter der ROC-Kurve) sind zwei Messgrößen für die logistische Regression. Es fällt mir schwer zu erklären, was passiert, wenn die Ergebnisse der beiden Maßnahmen nicht konsistent sind. Ich denke, sie messen etwas unterschiedliche Aspekte der Modellanpassung, aber was sind diese spezifischen Aspekte? …
Ich habe zwei Klassifikatoren A: naives Bayes'sches Netzwerk B: Baum (einfach verbunden) Bayesianisches Netzwerk In Bezug auf Genauigkeit und andere Maßnahmen schneidet A vergleichsweise schlechter ab als B. Wenn ich jedoch die R-Pakete ROCR und AUC für die ROC-Analyse verwende, stellt sich heraus, dass die AUC für A höher ist …
Ich habe kürzlich einen Kaggle-Wettbewerb abgeschlossen, bei dem der ROC AUC-Score gemäß den Wettbewerbsanforderungen verwendet wurde. Vor diesem Projekt habe ich normalerweise den Wert f1 als Metrik zur Messung der Modellleistung verwendet. In Zukunft frage ich mich, wie ich zwischen diesen beiden Metriken wählen soll. Wann welche verwenden und welche …
Ich habe Werte für True Positive (TP)und False Negative (FN)wie folgt: TP = 0.25 FN = 0.75 Können wir aus diesen Werten berechnen False Positive (FP)und True Negative (TN)?
In der Diskussion: Wie man eine ROC-Kurve für die binäre Klassifikation erzeugt , war meiner Meinung nach die Verwirrung, dass ein "binärer Klassifikator" (ein Klassifikator, der zwei Klassen trennt) für Yang ein so genannter "diskreter Klassifikator" war (der erzeugt) diskrete Ausgänge (0/1 wie ein SVM) und keine kontinuierlichen Ausgänge wie …
Das Bild unten zeigt eine kontinuierliche Kurve von falsch-positiven Raten gegenüber wahr-positiven Raten: Ich verstehe jedoch nicht sofort, wie diese Sätze berechnet werden. Wenn eine Methode auf einen Datensatz angewendet wird, weist sie eine bestimmte FP-Rate und eine bestimmte FN-Rate auf. Bedeutet das nicht, dass jede Methode einen einzelnen Punkt …
Präambel Dies ist ein langer Beitrag. Wenn Sie dies noch einmal lesen, beachten Sie bitte, dass ich den Fragenteil überarbeitet habe, obwohl das Hintergrundmaterial das gleiche bleibt. Außerdem glaube ich, dass ich eine Lösung für das Problem gefunden habe. Diese Lösung wird unten im Beitrag angezeigt. Dank an CliffAB für …
Bei dieser Frage geht es um die Schätzung der Cut-off-Scores in einem mehrdimensionalen Screening-Fragebogen, um einen binären Endpunkt bei Vorhandensein korrelierter Skalen vorherzusagen. Ich wurde gefragt, ob es wichtig ist, die zugehörigen Unterpunkte zu kontrollieren, wenn Cut-off-Scores für jede Dimension einer Messskala (Persönlichkeitsmerkmale) erstellt werden, die für das Alkoholismus-Screening verwendet …
Kann mir bitte jemand den tatsächlichen Unterschied zwischen Regressionsanalyse und Kurvenanpassung (linear und nichtlinear) erklären, wenn möglich anhand eines Beispiels? Es scheint, dass beide versuchen, eine Beziehung zwischen zwei Variablen (abhängig und unabhängig) zu finden und dann den Parameter (oder Koeffizienten) zu bestimmen, der den vorgeschlagenen Modellen zugeordnet ist. Zum …
Eine korrekte Bewertungsregel ist eine Regel, die durch ein "echtes" Modell maximiert wird und kein "Absichern" oder Spielen des Systems erlaubt (absichtlich unterschiedliche Ergebnisse zu melden, wie es der wahre Glaube des Modells ist, um die Bewertung zu verbessern). Der Brier-Score ist korrekt, die Genauigkeit (Anteil richtig klassifiziert) ist nicht …
Ich habe einige Zweifel, welches Leistungsmaß verwendet werden soll, Bereich unter der ROC-Kurve (TPR als Funktion von FPR) oder Bereich unter der Genauigkeits-Rückruf-Kurve (Genauigkeit als Funktion von Rückruf). Meine Daten sind unausgewogen, dh die Anzahl der negativen Instanzen ist viel größer als die der positiven Instanzen. Ich benutze die Ausgabe …
Ich habe gerade das Lesen dieses Diskussion . Sie argumentieren, dass PR AUC bei unausgeglichenen Datensätzen besser ist als ROC AUC. Zum Beispiel haben wir 10 Proben im Testdatensatz. 9 Proben sind positiv und 1 ist negativ. Wir haben ein schreckliches Modell, das alles Positive vorhersagt. Wir haben also eine …
Ich habe eine ROC-Kurve für ein Diagnosesystem erstellt. Die Fläche unter der Kurve wurde dann nicht parametrisch auf AUC = 0,89 geschätzt. Als ich versuchte, die Genauigkeit bei der optimalen Schwellenwerteinstellung (dem Punkt, der dem Punkt (0, 1) am nächsten liegt) zu berechnen, erhielt ich eine Genauigkeit des Diagnosesystems von …
Ich experimentiere mit dem Algorithmus der Gradientenverstärkungsmaschine über das caretPaket in R. Unter Verwendung eines kleinen Datensatzes für Hochschulzulassungen habe ich den folgenden Code ausgeführt: library(caret) ### Load admissions dataset. ### mydata <- read.csv("http://www.ats.ucla.edu/stat/data/binary.csv") ### Create yes/no levels for admission. ### mydata$admit_factor[mydata$admit==0] <- "no" mydata$admit_factor[mydata$admit==1] <- "yes" ### Gradient boosting …
Ich lerne einen maschinellen Lernkurs und die Vorlesungsfolien enthalten Informationen, die dem empfohlenen Buch widersprechen. Das Problem ist folgendes: Es gibt drei Klassifikatoren: Klassifikator A, der eine bessere Leistung im unteren Bereich der Schwellenwerte bietet, Klassifikator B, der eine bessere Leistung im höheren Bereich der Schwellenwerte bietet, Klassifikator C was …
Angenommen, ich habe ein Vorhersagemodell für das Auftreten einer bestimmten Krankheit in einem Datensatz (dem Datenbestand zur Modellbildung) erstellt und möchte nun überprüfen, wie gut das Modell in einem neuen Datensatz (dem Validierungsdatenbestand) funktioniert. Für ein mit logistischer Regression erstelltes Modell würde ich die vorhergesagte Wahrscheinlichkeit für jede Person im …
Was sind die Vorteile der ROC-Kurven? Zum Beispiel klassifiziere ich einige Bilder, was ein binäres Klassifizierungsproblem ist. Ich extrahierte ungefähr 500 Merkmale und wendete einen Merkmalsauswahlalgorithmus an, um einen Satz von Merkmalen auszuwählen, dann wendete ich SVM zur Klassifizierung an. Wie kann ich in diesem Fall eine ROC-Kurve erhalten? Sollte …
Ich plane, eine wiederholte (10-mal) geschichtete 10-fache Kreuzvalidierung für etwa 10.000 Fälle mithilfe eines Algorithmus für maschinelles Lernen durchzuführen. Jedes Mal wird die Wiederholung mit verschiedenen zufälligen Samen durchgeführt. In diesem Prozess erstelle ich 10 Instanzen von Wahrscheinlichkeitsschätzungen für jeden Fall. 1 Instanz der Wahrscheinlichkeitsschätzung für jede der 10 Wiederholungen …
Ich versuche zu verstehen, wie der optimale Schnittpunkt für eine ROC-Kurve berechnet wird (der Wert, bei dem die Empfindlichkeit und Spezifität maximiert werden). Ich verwende den Datensatz aSAHaus dem Paket pROC. Die outcomeVariable könnte durch zwei unabhängige Variablen erklärt werden: s100bund ndka. Unter Verwendung der Syntax des EpiPakets habe ich …
Warum ist der Bereich unter der ROC-Kurve die Wahrscheinlichkeit, dass ein Klassifizierer eine zufällig ausgewählte "positive" Instanz (aus den abgerufenen Vorhersagen) höher einstuft als eine zufällig ausgewählte "positive" Instanz (aus der ursprünglichen positiven Klasse)? Wie kann man diese Aussage mathematisch unter Verwendung von Integralen beweisen und die CDFs und PDFs …
Normalerweise passen wir in der logistischen Regression ein Modell an und erhalten einige Vorhersagen zum Trainingssatz. Anschließend validieren wir diese Trainingsvorhersagen (so ähnlich wie hier ) und bestimmen den optimalen Schwellenwert auf der Grundlage der ROC-Kurve. Warum integrieren wir die Quervalidierung des Schwellenwerts nicht in das tatsächliche Modell und trainieren …
We use cookies and other tracking technologies to improve your browsing experience on our website,
to show you personalized content and targeted ads, to analyze our website traffic,
and to understand where our visitors are coming from.
By continuing, you consent to our use of cookies and other tracking technologies and
affirm you're at least 16 years old or have consent from a parent or guardian.