Mit anderen Worten, anstatt ein Zwei-Klassen-Problem zu haben, beschäftige ich mich mit 4 Klassen und möchte immer noch die Leistung unter Verwendung der AUC bewerten.
Antworten:
Anscheinend suchen Sie nach einer ROC-Analyse für mehrere Klassen, einer Art Optimierung für mehrere Ziele, die in einem Tutorial auf der ICML'04 behandelt wird. Wie bei mehreren Problemen mit mehreren Klassen besteht die Idee im Allgemeinen darin, einen paarweisen Vergleich durchzuführen (eine Klasse gegen alle anderen Klassen, eine Klasse gegen eine andere Klasse, siehe (1) oder die Elemente des statistischen Lernens ) Aufsatz von Landgrebe und Duin zu diesem Thema, Annäherung der Mehrklassen-ROC durch paarweise Analyse , Pattern Recognition Letters 2007 28: 1747-1758. Nun, zu Visualisierungszwecken, habe ich vor einiger Zeit einige Artikel gesehen, bei denen sich die meisten unter der ROC-Oberfläche (VUS) oder im Cobweb-Diagramm um die Lautstärke drehen .
Ich weiß jedoch nicht, ob es eine R-Implementierung dieser Methoden gibt, obwohl ich denke, dass die stars()Funktion für die Darstellung von Spinnennetzen verwendet werden könnte. Ich bin gerade auf eine Matlab-Toolbox gestoßen, die eine mehrstufige ROC-Analyse zu bieten scheint, PRSD Studio .
Andere Artikel, die auch als erster Start für die Visualisierung / Berechnung nützlich sein können:
Literaturhinweise:
1. Allwein, EL, Schapire, RE und Singer, Y. (2000). Reduzieren von Multiklassen auf Binär: Ein einheitlicher Ansatz für Margin-Klassifikatoren. Journal of Machine Learning Research , 1 : 113–141.
Ich habe kürzlich dieses pROC- Paket in R gefunden, das eine Mehrklassen-ROC mit der von Hand and Till (2001) angegebenen Technik zeichnet . Sie können die Funktion multiclass.roc verwenden.
Die Antworten hier sind ziemlich vollständig, aber ich möchte trotzdem meine 5 Cent hinzufügen. In dieser Frage finden Sie ein Beispiel für R-Code zur Erstellung von ROC-Kurven mit dem One-Vs-All-Ansatz und der ROCR- R-Bibliothek.
Dies ist die Handlung aus dieser Antwort:
Während die Mathematik für mich unverständlich ist, enthält dieser allgemeine Übersichtsartikel einige Referenzen, an denen Sie wahrscheinlich interessiert sind, und enthält eine kurze Beschreibung von ROC-Diagrammen für mehrere Klassen.
Eine Einführung in die ROC-Analyse von Tom Fawcett Pattern Recognition Letters, Band 27, Ausgabe 8, Juni 2006, Seiten 861-874
Link zum pdf wie von gd047 zur Verfügung gestellt - danke