Da ich einen sehr unausgewogenen Datensatz habe (9% positive Ergebnisse), entschied ich, dass eine Präzisionsrückrufkurve geeigneter ist als eine ROC-Kurve. Ich habe das analoge zusammenfassende Flächenmaß unter der PR-Kurve erhalten (.49, wenn Sie interessiert sind), bin mir aber nicht sicher, wie ich es interpretieren soll. Ich habe gehört, dass .8 oder höher eine gute AUC für ROC ist, aber wären die allgemeinen Grenzwerte für die AUC für eine Präzisionsrückrufkurve gleich?
Antworten:
Weder für AUC-ROC noch für AUC-PR gibt es einen magischen Grenzwert. Höher ist natürlich besser, aber es ist vollständig anwendungsabhängig.
Wenn Sie zum Beispiel rentable Investitionen mit einer AUC von 0,8 oder, was auch immer vom Zufall unterscheidbar ist, erfolgreich identifizieren könnten, wäre ich sehr beeindruckt und Sie wären sehr reich. Andererseits liegt die Klassifizierung handgeschriebener Ziffern mit einer AUC von 0,95 immer noch erheblich unter dem aktuellen Stand der Technik.
Während die bestmögliche AUC-ROC garantiert in [0,1] liegt, gilt dies nicht für Präzisionsrückrufkurven, da es "nicht erreichbare" Bereiche des PR-Raums geben kann, abhängig davon, wie verzerrt die Klassenverteilungen sind. (Siehe dieses Papier von Boyd et al. (2012) für Details).
.49 ist nicht großartig, aber seine Interpretation unterscheidet sich von der ROC AUC. Wenn Sie für die ROC AUC eine .49 mit einem logistischen Regressionsmodell erhalten haben, würde ich sagen, dass Sie nicht besser als zufällig abschneiden. Für .49 PR AUC könnte es jedoch nicht so schlimm sein. Ich würde in Betracht ziehen, die individuelle Präzision zu betrachten und mich zu erinnern, vielleicht ist das eine oder andere das, was Ihre PR AUC antreibt. Rückruf wird Ihnen sagen, wie viel von dieser 9% positiven Klasse Sie tatsächlich richtig erraten. Präzision wird Ihnen sagen, wie viele Sie positiv erraten haben, die nicht waren. (Fehlalarm). 50% Rückruf wären schlecht, was bedeutet, dass Sie nicht viele Ihrer unausgeglichenen Klassen erraten, aber vielleicht wäre 50% Präzision nicht schlecht. Kommt auf deine Situation an.
Ein zufälliger Schätzer hätte in Ihrem Fall eine PR-AUC von 0,09 (9% positive Ergebnisse), sodass Ihre 0,49 definitiv eine erhebliche Steigerung darstellt.
Wenn dies ein gutes Ergebnis ist, kann es nur im Vergleich zu anderen Algorithmen bewertet werden, aber Sie haben keine Details zu der Methode / den Daten angegeben, die Sie verwendet haben.
Darüber hinaus möchten Sie möglicherweise die Form Ihrer PR-Kurve bewerten. Eine ideale PR-Kurve verläuft von der oberen linken Ecke horizontal zur rechten Ecke und gerade nach unten zur unteren rechten Ecke, was zu einer PR-AUC von 1 führt. In einigen Anwendungen zeigt die PR-Kurve zu Beginn stattdessen zu schnell eine starke Spitze Lassen Sie sich wieder in die Nähe der "Zufallsschätzerlinie" fallen (in Ihrem Fall die horizontale Linie mit einer Genauigkeit von 0,09). Dies würde auf eine gute Erkennung von "starken" positiven Ergebnissen hinweisen, aber auf eine schlechte Leistung bei den weniger klaren Kandidaten.
Wenn Sie einen guten Schwellenwert für den Cutoff-Parameter Ihres Algorithmus finden möchten, können Sie den Punkt auf der PR-Kurve berücksichtigen, der der rechten Ecke am nächsten liegt. Oder noch besser, erwägen Sie nach Möglichkeit eine Kreuzvalidierung. Möglicherweise erzielen Sie Präzisions- und Rückrufwerte für einen bestimmten Grenzparameter, die für Ihre Anwendung interessanter sind als der Wert der PR-AUC. Die AUCs sind am interessantesten beim Vergleich verschiedener Algorithmen.