Vergleich zweier Modelle, wenn sich die ROC-Kurven kreuzen

Eine gebräuchliche Maßnahme zum Vergleich von zwei oder mehr Klassifizierungsmodellen besteht darin, die Fläche unter der ROC-Kurve (AUC) als Mittel zur indirekten Bewertung ihrer Leistung zu verwenden. In diesem Fall wird ein Modell mit einer größeren AUC normalerweise als leistungsstärker interpretiert als ein Modell mit einer kleineren AUC. Laut Vihinen, 2012 ( https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3303716/ ) ist ein solcher Vergleich nicht mehr gültig, wenn sich beide Kurven kreuzen. Wieso ist es so?

Was kann man zum Beispiel an den Modellen A, B und C anhand der ROC-Kurven und der folgenden AUCs feststellen?

Eine ROC- Kurve visualisiert TPR und FPR für alle möglichen Schwellenwerte .

• Wenn Sie zwei ROC-Kurven 'A' und 'B' zeichnen und sie sich nicht kreuzen , schneidet einer Ihrer Klassifikatoren eindeutig besser ab, da Sie für alle möglichen FPR-Werte einen höheren TPR erhalten. Offensichtlich wird auch die Fläche unter der Republik China größer sein.

• Wenn sie sich kreuzen , gibt es einen Punkt, an dem FPR und TPR für beide Kurven 'A' und 'B' gleich sind . Sie können nicht mehr sagen, dass eine ROC-Kurve eine bessere Leistung erbringt, da dies jetzt davon abhängt, welchen Kompromiss Sie bevorzugen. Möchten Sie eine hohe Präzision / einen niedrigen Rückruf oder eine niedrige Präzision / einen hohen Rückruf ?

Beispiel: Wenn ein Klassifikator bei einem FPR von 0,2 viel besser abschneidet, es jedoch wichtig ist, einen hohen Rückruf zu erreichen, schneidet er bei einem Schwellenwert gut ab, an dem Sie nicht interessiert sind.

Informationen zu den ROC-Kurven in Ihrem Diagramm: Sie können leicht feststellen, dass 'A' eine viel bessere Leistung erbringt, ohne zu wissen, was Sie erreichen möchten. Sobald die violette Kurve die anderen kreuzt, kreuzt sie sie erneut. Sie sind wahrscheinlich in nicht interessiert kleinen Teil , wo ‚B‘ und ‚C‘ ausführen slighty besser .

In der folgenden Grafik sehen Sie zwei ROC-Kurven, die sich auch kreuzen. Hier kann man nicht sagen, welche besser ist, da sie sich gegenseitig ergänzen .

Beachten Sie , dass am Ende des Tages, die Sie interessieren Kommissionierung eine Schwelle für die Klassifizierung und die AUC nur gibt Ihnen eine Schätzung , wie gut ein Modell führt im Allgemeinen .