Wie ermittelt man den besten Grenzpunkt und sein Konfidenzintervall anhand der ROC-Kurve in R?

Ich habe die Daten eines Tests, mit dem sich normale und Tumorzellen unterscheiden lassen. Laut ROC-Kurve sieht es für diesen Zweck gut aus (Fläche unter der Kurve ist 0,9):

Meine Fragen sind:

1. Wie wird der Grenzwert für diesen Test und sein Konfidenzintervall bestimmt, in dem die Messwerte als nicht eindeutig beurteilt werden sollten?
2. Was ist der beste Weg, dies zu visualisieren (mit ggplot2)?

Das Diagramm wird mit ROCRund ggplot2-Paketen gerendert :

#install.packages("ggplot2","ROCR","verification") #if not installed yet
library("ggplot2")
library("ROCR")
library("verification")
d <-read.csv2("data.csv", sep=";")
pred <- with(d,prediction(x,test))
perf <- performance(pred,"tpr", "fpr")
auc <-performance(pred, measure = "auc")@y.values[[1]]
rd <- data.frame(x=perf@x.values[[1]],y=perf@y.values[[1]])
p <- ggplot(rd,aes(x=x,y=y)) + geom_path(size=1)
p <- p + geom_segment(aes(x=0,y=0,xend=1,yend=1),colour="black",linetype= 2)
p <- p + geom_text(aes(x=1, y= 0, hjust=1, vjust=0, label=paste(sep = "", "AUC = ",round(auc,3) )),colour="black",size=4)
p <- p + scale_x_continuous(name= "False positive rate")
p <- p + scale_y_continuous(name= "True positive rate")
p <- p + opts(
            axis.text.x = theme_text(size = 10),
            axis.text.y = theme_text(size = 10),
            axis.title.x = theme_text(size = 12,face = "italic"),
            axis.title.y = theme_text(size = 12,face = "italic",angle=90),
            legend.position = "none",
            legend.title = theme_blank(),
            panel.background = theme_blank(),
            panel.grid.minor = theme_blank(), 
            panel.grid.major = theme_line(colour='grey'),
            plot.background = theme_blank()
            )
p

data.csv enthält die folgenden Daten:

x;group;order;test
56;Tumor;1;1
55;Tumor;1;1
52;Tumor;1;1
60;Tumor;1;1
54;Tumor;1;1
43;Tumor;1;1
52;Tumor;1;1
57;Tumor;1;1
50;Tumor;1;1
34;Tumor;1;1
24;Normal;2;0
34;Normal;2;0
22;Normal;2;0
32;Normal;2;0
25;Normal;2;0
23;Normal;2;0
23;Normal;2;0
19;Normal;2;0
56;Normal;2;0
44;Normal;2;0

Vielen Dank an alle, die diese Frage beantwortet haben. Ich stimme zu, dass es keine richtige Antwort geben kann und die Kriterien stark von den Zielen abhängen, die hinter dem bestimmten diagnostischen Test stehen.

Schließlich hatte ich ein R-Paket OptimalCutpoints gefunden, das genau dem Auffinden von Cutoff-Punkten in einer solchen Art von Analyse gewidmet war. Tatsächlich gibt es verschiedene Methoden zur Bestimmung des Grenzpunkts.

• "CB" (Kosten-Nutzen-Methode);
• "MCT" (minimiert die Fehlklassifizierungskosten);
• "MinValueSp" (ein Mindestwert für die Spezifität);
• "MinValueSe" (ein Mindestwert für die Empfindlichkeit);
• "RangeSp" (ein Wertebereich, der für die Spezifität festgelegt wurde);
• "RangeSe" (ein Wertebereich für die Empfindlichkeit);
• "ValueSp" (ein für die Spezifität festgelegter Wert);
• "ValueSe" (ein für die Empfindlichkeit festgelegter Wert);
• "MinValueSpSe" (ein Mindestwert für Spezifität und Empfindlichkeit);
• "MaxSp" (maximiert die Spezifität);
• "MaxSe" (maximiert die Empfindlichkeit);
• "MaxSpSe" (maximiert gleichzeitig Empfindlichkeit und Spezifität);
• "Max-SumSpSe" (maximiert die Summe von Sensitivität und Spezifität);
• "MaxProdSpSe" (maximiert das Produkt aus Empfindlichkeit und Spezifität);
• "ROC01" (minimiert den Abstand zwischen ROC-Kurve und Punkt (0,1));
• "SpEqualSe" (Empfindlichkeit = Spezifität);
• "Youden" (Youden Index);
• "MaxEfficiency" (maximiert die Effizienz oder Genauigkeit);
• "Minimax" (minimiert den häufigsten Fehler);
• "AUC" (maximiert die Konkordanz, die eine Funktion der AUC ist);
• "MaxDOR" (maximiert das Diagnosewahrscheinlichkeitsverhältnis);
• "MaxKappa" (maximiert den Kappa-Index);
• "MaxAccuracyArea" (maximiert den Genauigkeitsbereich);
• "MinErrorRate" (minimiert die Fehlerrate);
• "MinValueNPV" (ein Mindestwert für den negativen Vorhersagewert);
• "MinValuePPV" (ein Mindestwert für den positiven Vorhersagewert);
• "MinValueNPVPPV" (ein Mindestwert für Vorhersagewerte);
• "PROC01" (minimiert den Abstand zwischen PROC-Diagramm und Punkt (0,1));
• "NPVEqualPPV" (negativer Vorhersagewert = positiver Vorhersagewert);
• "ValueDLR.Negative" (ein für Negative Diagnostic Likelihood Ratio eingestellter Wert);
• "ValueDLR.Positive" (ein für Positive Diagnostic Likelihood Ratio eingestellter Wert);
• "MinPvalue" (minimiert den mit dem statistischen Chi-Quadrat-Test verbundenen p-Wert, der die Assoziation zwischen dem Marker und dem bei Verwendung des Schnittpunkts erhaltenen binären Ergebnis misst);
• "ObservedPrev" (der Wert, der der beobachteten Prävalenz am nächsten kommt);
• "MeanPrev" (der Wert, der dem Mittelwert der diagnostischen Testwerte am nächsten kommt);
• "PrevalenceMatching" (Der Wert, für den die vorhergesagte Prävalenz praktisch der beobachteten Prävalenz entspricht).

Die Aufgabe beschränkt sich nun darauf, die Methode auszuwählen, die für jede Situation am besten geeignet ist.

In der Paketdokumentation sind viele andere Konfigurationsoptionen beschrieben , darunter verschiedene Methoden zum Bestimmen von Konfidenzintervallen und eine detaillierte Beschreibung der einzelnen Methoden.

Meiner Meinung nach gibt es mehrere Abschaltoptionen. Sie können Sensitivität und Spezifität unterschiedlich gewichten (zum Beispiel ist es für Sie wichtiger, einen hochsensitiven Test durchzuführen, obwohl dies einen niedrigen spezifischen Test bedeutet. Oder umgekehrt).

Wenn Empfindlichkeit und Spezifität für Sie gleich wichtig sind, besteht eine Möglichkeit zur Berechnung des Cutoff darin, den Wert zu wählen, der den euklidischen Abstand zwischen Ihrer ROC-Kurve und der oberen linken Ecke Ihres Diagramms minimiert.

Eine andere Möglichkeit besteht darin, den maximierten Wert (Empfindlichkeit + Spezifität - 1) als Grenzwert zu verwenden.

Leider habe ich keine Referenzen für diese beiden Methoden, da ich sie von Professoren oder anderen Statistikern gelernt habe. Ich habe nur gehört, dass ich die letztgenannte Methode als Youden-Index bezeichnet habe [1].

[1] https://en.wikipedia.org/wiki/Youden%27s_J_statistic

Widerstehen Sie der Versuchung, eine Grenze zu finden. Sofern Sie nicht über eine vordefinierte Funktion für Nutzen / Verlust / Kosten verfügen, steht eine Abschaltung im Widerspruch zu einer optimalen Entscheidungsfindung. Und eine ROC-Kurve ist für dieses Problem irrelevant.

Mathematisch gesehen benötigen Sie eine andere Bedingung, um den Cut-Off zu lösen.

Sie können den Punkt von @ Andrea folgendermaßen übersetzen: "Externes Wissen über das zugrunde liegende Problem verwenden".

Beispielbedingungen:

• Für diese Anwendung benötigen wir Sensitivität> = x und / oder Spezifität> = y.

• Ein falsches Negativ ist 10 x so schlecht wie ein falsches Positiv. (Das würde Ihnen eine Änderung des nächstgelegenen Punkts zur idealen Ecke geben.)

Visualisieren Sie die Genauigkeit gegenüber dem Cutoff. Weitere Informationen finden Sie in der ROCR-Dokumentation und in der sehr schönen Präsentation derselben.

Was noch wichtiger ist - es gibt sehr wenige Datenpunkte hinter dieser Kurve. Wenn Sie sich für einen Kompromiss zwischen Empfindlichkeit und Spezifität entscheiden, empfehle ich Ihnen dringend, die Kurve und die daraus resultierende Cutoff-Zahl zu booten. Möglicherweise stellen Sie fest, dass Ihre geschätzte Höchstgrenze sehr ungewiss ist.