Wie lässt sich die probabilistische Interpretation der AUC ableiten?

Warum ist der Bereich unter der ROC-Kurve die Wahrscheinlichkeit, dass ein Klassifizierer eine zufällig ausgewählte "positive" Instanz (aus den abgerufenen Vorhersagen) höher einstuft als eine zufällig ausgewählte "positive" Instanz (aus der ursprünglichen positiven Klasse)? Wie kann man diese Aussage mathematisch unter Verwendung von Integralen beweisen und die CDFs und PDFs der wahren positiven und negativen Klassenverteilungen angeben?

Versuchen wir zunächst, den Bereich unter der ROC-Kurve formal zu definieren. Einige Annahmen und Definitionen:

• Wir haben einen probabilistischen Klassifikator, der eine "Punktzahl" s (x) ausgibt, wobei x die Merkmale sind, und s eine generisch zunehmende monotone Funktion der geschätzten Wahrscheinlichkeit p ist (Klasse = 1 | x).

• , mit k = { 0 , 1 } : = pdf der Punktzahlen für Klasse k, mit CDF F k ( s $f_{k}(s)$$k = \{0, 1\}$$F_{k}(s)$

• Die Klassifizierung einer neuen Beobachtung wird erhalten, indem die Punktzahl s mit einem Schwellenwert t verglichen wird

Betrachten wir der mathematischen Einfachheit halber die positive Klasse (Ereignis erkannt) k = 0 und die negative k = 1. In dieser Einstellung können wir definieren:

• Rückruf (auch bekannt als Sensitivität, auch bekannt als TPR) : (Anteil der als positiv eingestuften positiven Fälle)$F_{0}(t)$
• Spezifität (auch bekannt als TNR) : (Anteil der als negativ eingestuften negativen Fälle)$1 - F_{1}(t)$
• FPR (auch bekannt als Fall-out) : 1 - TNR = $F_{1}(t)$

Die ROC-Kurve ist dann eine Auftragung von gegen F 1 ( t ) . Wenn wir v = F 1 ( s ) setzen , können wir die Fläche unter der ROC-Kurve formal definieren als: A U C = ∫ 1 0 F 0 ( F - 1 1 ( v ) ) d v Variable ändern ( d v = f 1 () s ) d $F_{0}(t)$$F_{1}(t)$$v = F_1(s)$

$$AUC =\int_{0}^{1} F_{0}(F_{1}^{-1}(v)) dv$$ $dv = f_{1}(s)ds$): $$AUC =\int_{ - \infty}^{\infty} F_{0}(s) f_{1}(s)ds$$

Diese Formel kann leicht als die Wahrscheinlichkeit angesehen werden, dass ein zufällig gezogenes Mitglied der Klasse 0 eine niedrigere Punktzahl als die Punktzahl eines zufällig gezogenen Mitglieds der Klasse 1 erzeugt.

Dieser Beweis stammt von: https://pdfs.semanticscholar.org/1fcb/f15898db36990f651c1e5cdc0b405855de2c.pdf

@ Alebus Antwort ist großartig. Die Notation ist jedoch nicht standardisiert und verwendet 0 für die positive Klasse und 1 für die negative Klasse. Nachfolgend sind die Ergebnisse für die Standardnotation aufgeführt (0 für die negative Klasse und 1 für die positive Klasse):

$f_0(s)$$F_0(s)$

$f_1(s)$$F_1(s)$

$x(s) = 1-F_0(s)$

$y(s) = 1-F_1(s)$

$$\begin{align} \text{AUC} &= \int_0^1 y(x) dx\\ &= \int_0^1 y(x(\tau)) dx(\tau) \\ &= \int_{+\infty}^{-\infty} y(\tau) x'(\tau) d\tau \\ &= \int_{+\infty}^{-\infty} \big( 1-F_1(\tau) \big) \big( -f_0(\tau) \big) d\tau \\ &= \int_{-\infty}^{+\infty} \big( 1-F_1(\tau) \big) f_0(\tau) d\tau \end{align}$$

where $\tau$ stands for threshold. One can apply the interpretation in @alebu's answer to the last expression.

The way to calculate AUC-ROC is to plot out the TPR and FPR as the threshold, $\tau$ is changed and calculate the area under that curve. But, why is this area under the curve the same as this probability? Let's assume the following:

1. $A$ is the distribution of scores the model produces for data points that are actually in the positive class.
2. $B$ is the distribution of scores the model produces for data points that are actually in the negative class (we want this to be to the left of $A$).
3. $\tau$ is the cutoff threshold. If a data point get's a score greater than this, it's predicted as belonging to the positive class. Otherwise, it's predicted to be in the negative class.

Note that the TPR (recall) is given by: $P(A>\tau)$ and the FPR (fallout) is given be: $P(B>\tau)$.

Now, we plot the TPR on the y-axis and FPR on the x-axis, draw the curve for various $\tau$ and calculate the area under this curve ($AUC$).

We get:

$$AUC = \int_0^1 TPR(x)dx = \int_0^1 P(A>\tau(x))dx$$ where $x$ is the FPR. Now, one way to calculate this integral is to consider $x$ as belonging to a uniform distribution. In that case, it simply becomes the expectation of the $TPR$.

$$AUC = E_x[P(A>\tau(x))] \tag{1}$$ if we consider $x \sim U[0,1)$ .

Now, $x$ here was just the $FPR$

$$x=FPR = P(B>\tau(x))$$ Since we considered $x$ to be from a uniform distribution,

$$P(B>\tau(x)) \sim U$$ $$=> P(B<\tau(x)) \sim (1-U) \sim U$$ $$\begin{equation}=> F_B(\tau(x)) \sim U \tag{2}\end{equation}$$

But we know from the inverse transform law that for any random variable $X$, if $F_X(Y) \sim U$ then $Y \sim X$. This follows since taking any random variable and applying its own CDF to it leads to the uniform.

$$F_X(X) = P(F_X(x)<X) =P(X<F_X^{-1}(X))=F_XF_X^{-1}(X)=X$$ und das gilt nur für uniform.

Die Verwendung dieser Tatsache in Gleichung (2) ergibt:

$$\tau(x) \sim B$$

Wenn wir dies in Gleichung (1) einsetzen, erhalten wir:

$$AUC=E_x(P(A>B))=P(A>B)$$

Mit anderen Worten, der Bereich unter der Kurve ist die Wahrscheinlichkeit, dass eine zufällige positive Stichprobe eine höhere Punktzahl aufweist als eine zufällige negative Stichprobe.