Bewertung von Klassifikatoren: Lernkurven gegen ROC-Kurven

Ich möchte 2 verschiedene Klassifizierer für ein Problem der Textklassifizierung in mehreren Klassen vergleichen, die große Trainingsdatensätze verwenden. Ich bezweifle, ob ich ROC-Kurven oder Lernkurven verwenden sollte, um die beiden Klassifikatoren zu vergleichen.

Einerseits sind Lernkurven hilfreich, um die Größe des Trainingsdatensatzes zu bestimmen, da Sie die Größe des Datensatzes ermitteln können, bei dem der Klassifizierer aufhört zu lernen (und sich möglicherweise verschlechtert). Der beste Klassifikator in diesem Fall könnte also derjenige sein, der die höchste Genauigkeit mit der kleinsten Datensatzgröße erreicht.

Auf der anderen Seite können Sie mit ROC-Kurven einen Punkt mit dem richtigen Kompromiss zwischen Sensitivität und Spezifität finden. Der beste Klassifikator ist in diesem Fall nur derjenige, der näher am oberen linken Teil liegt, mit dem höchsten TPR für jeden FPR.

Sollte ich beide Bewertungsmethoden verwenden? Kann eine Methode mit einer besseren Lernkurve eine schlechtere ROC-Kurve haben und umgekehrt?

Die Lernkurve ist nur ein Diagnosewerkzeug, das Ihnen sagt, wie schnell Ihr Modell lernt und ob Ihre gesamte Analyse nicht in einem eigenartigen Bereich mit zu kleinen Mengen / zu kleinem Ensemble steckt (falls zutreffend). Der einzige Teil dieses Diagramms, der für die Modellbewertung interessant ist, ist das Ende, dh die endgültige Leistung - es muss jedoch kein Diagramm gemeldet werden.
Die Auswahl eines Modells basierend auf einer Lernkurve, wie Sie sie in Ihrer Frage skizziert haben, ist eher eine schlechte Idee, da Sie wahrscheinlich ein Modell auswählen, das sich am besten für eine Überanpassung eines zu kleinen Stichprobensatzes eignet.

Informationen zu ROCs ... Die ROC- Kurve ist eine Methode zur Bewertung von Binärmodellen, die eine Konfidenzbewertung ergeben, dass ein Objekt zu einer Klasse gehört. möglicherweise auch, um die besten Schwellenwerte zu finden, um sie in tatsächliche Klassifikatoren umzuwandeln.
Was Sie beschreiben, ist eher eine Idee, die Leistung Ihrer Klassifizierer als Streudiagramm von TPR / FPR im ROC- Raum darzustellen und das Kriterium zu verwenden, das am nächsten an der oberen linken linken Ecke liegt, um dieses auszuwählen, das am besten zwischen der Erzeugung von Fehlalarmen und Fehlschlägen ausgewogen ist. - Dieses besondere Ziel kann eleganter erreicht werden, indem einfach das Modell mit dem besten F-Score (harmonisches Mittel der Präzision und des Rückrufs) ausgewählt wird.