Interne Validierung über Bootstrap: Welche ROC-Kurve soll präsentiert werden?

Ich verwende den Bootstrap-Ansatz für die interne Validierung eines multivariaten Modells, das entweder mit einer logistischen Standardregression oder einem elastischen Netz erstellt wurde.

Das Verfahren, das ich verwende, ist wie folgt:

1) Modell unter Verwendung des gesamten Datensatzes erstellen, vorhergesagte Werte erhalten und AUC berechnen (AUC_ap, offensichtlich)

2) Generieren Sie 100-500 Bootstrap-Beispiele, die aus dem Originaldatensatz abgeleitet wurden

3) Befolgen Sie für jedes Bootstrap-Beispiel das gleiche Verfahren wie in Nr. 1 und erhalten Sie vorhergesagte Werte und auc für i) das aktuelle Bootstrap-Beispiel und ii) den Originaldatensatz

4) Berechnen Sie die Differenz zwischen i) und ii) (in # 3) für jedes der 100-500 Bootstrap-Beispiele und nehmen Sie den Durchschnitt -> "Optimismus"

5) optimismuskorrigierte AUC berechnen: AUC_ap - Optimismus

Meine Frage ist, welche ROC-Kurve am besten in einem Artikel dargestellt werden kann. Zum Beispiel ist der in Schritt 1 abgeleitete ROC eine Wahl, aber eindeutig optimistisch. Alternativ habe ich versucht, einen "durchschnittlichen ROC" unter Verwendung des R-Pakets ROCR zu erzeugen, basierend auf den in Schritt 3 (ii) abgeleiteten ROC-Kurven. Ich glaube jedoch nicht, dass die AUC für den [Durchschnitt dieser ROC-Kurven] dem in Schritt 5 erhaltenen Wert entspricht.

Jede Eingabe wird sehr geschätzt! -M

Sie gehen davon aus, dass die ROC-Kurve informativ ist und zu guten Entscheidungen führt. Beides ist nicht wahr. Ich habe noch keine ROC-Kurve gesehen, die nützliche Erkenntnisse lieferte. Es hat auch ein großes Verhältnis von Tinte zu Information. Der Index (Konkordanzwahrscheinlichkeit) ist ein gutes Maß für die prädiktive Diskriminierung. Mir würde es besser gefallen, wenn es nicht auch die AUROC wäre. Es ist nicht erforderlich, eine ROC-Kurve vorzulegen.$c$

ROC-Kurven haben nicht nur eine geringe Informationsausbeute, sondern laden Analysten auch dazu ein, nach Grenzwerten für vorhergesagte Wahrscheinlichkeiten zu suchen, was eine Entscheidungskatastrophe darstellt.

Sie haben eine sehr gute Frage aufgeworfen, die ich mich lange gefragt habe. Vielleicht hängt es von Ihren Ergebnissen ab, eine Entscheidung über die Berichterstattung zu treffen. In den meisten Situationen möchten Autoren eine rohe / scheinbare AUC (dh Schritt 1 in Ihrer Frage) trotz Überoptimismus oder nicht melden und dann die korrigierte AUC für den Bootstrap-Optimismus melden (dh Schritt 5). Siehe Ref: http://journals.plos.org/plosone/article?id=10.1371/journal.pone.0125026

In einigen Situationen, in denen die AUC nicht zu optimistisch zu sein scheint, meldet der Autor die korrigierte AUC direkt.

Die AUC in Schritt 3 (ii) wurde selten gemeldet, und Sie sollten sie besser ignorieren.

Es fehlen viele Details Ihrer Frage - es scheint mir jedoch, dass Sie nicht über alle Test-Sets sprechen . Wenn Sie beabsichtigen , die Generalisierbarkeit des Modells zu zeigen (was für eine ROC - Kurve primärer Anwendungsfall ist), werden Sie erwartet , die Republik China , die von einem präsentieren Test - Set, nicht Validierung oder interner Validierung gesetzt. oder ein durchschnittlicher ROC, der aus mehreren Testsätzen abgeleitet wurde. Daher ist es wichtig, dass Sie einen Weg finden, um Testsätze zu generieren und von dort aus zu übernehmen.

Eine gute Referenz zum Erlernen der ROC-Analyse (und zum Erstellen durchschnittlicher ROC-Kurven) ist:

Fawcett, T. (2006). Eine Einführung in die ROC-Analyse. Pattern Recognition Letters, 27 (8), 861–874. http://www.sciencedirect.com/science/article/pii/S016786550500303X