Berechnungsschwelle für Mindestrisikoklassifikator?

Angenommen, zwei Klassen $C_1$ und haben ein Attribut und die Verteilung und . wenn wir gleich vor für folgende Kostenmatrix haben: $C_2$ $x$ $\cal{N} (0, 0.5)$ $\cal{N} (1, 0.5)$ $P(C_1)=P(C_2)=0.5$

$L= \begin{bmatrix} 0 & 0.5 \\ 1 & 0 \end{bmatrix}$

Warum ist der Schwellenwert für den Klassifikator für das minimale Risiko (Kosten)? $x_0 < 0.5$

Dies ist mein Notizbeispiel, das ich falsch verstehe (dh wie diese Schwelle erreicht wird?).

Edit 1: Ich denke, für Schwellenwerte des Wahrscheinlichkeitsverhältnisses können wir P (C1) / P (C2) verwenden.

Bearbeiten 2: Ich füge aus Duda Book on Pattern einen Text über den Schwellenwert hinzu. Geben Sie hier die Bildbeschreibung ein

— user153695
quelle

Für eine Kostenmatrix ist

L = [\begin{matrix} 0 & 0.5 \\ 1 & 0 \end{matrix}] \begin{matrix} c_{1} \\ c_{2} \end{matrix} prediction \begin{matrix} c_{1} & c_{2} \end{matrix} truth

$L= \begin{bmatrix} 0 & 0.5 \\ 1 & 0 \end{bmatrix} \begin{matrix} c_1 \\ c_2 \end{matrix} \;\text{prediction} \\ \hspace{-1.9cm} \begin{matrix} c_1 & c_2 \end{matrix} \\ \hspace{-1.9cm}\text{truth}$

Der Verlust der Vorhersage der Klasse wenn die Wahrheit Klasse ist, beträgt , und die Kosten der Vorhersage der Klasse wenn die Wahrheit Klasse ist, . Es gibt keine Kosten für korrekte Vorhersagen, . Das bedingte Risiko für die Vorhersage einer der Klassen ist dann $c_1$ $c_2$ $L_{12} = 0.5$ $c_2$ $c_1$ $L_{21} = 1$ $L_{11} = L_{22} = 0$ $R$ $k$

Eine Referenz finden Sie in diesenHinweisenauf Seite 15.

\begin{aligned} R (c_{1} | x) & = L_{11} Pr (c_{1} | x) + L_{12} Pr (c_{2} | x) = L_{12} Pr (c_{2} | x) \\ R (c_{2} | x) & = L_{22} Pr (c_{2} | x) + L_{21} Pr (c_{1} | x) = L_{21} Pr (c_{1} | x) \end{aligned}

$\begin{align} R(c_1|x) &= L_{11} \Pr (c_1|x) + L_{12} \Pr (c_2|x) = L_{12} \Pr (c_2|x) \\ R(c_2|x) &= L_{22} \Pr (c_2|x) + L_{21} \Pr (c_1|x) = L_{21} \Pr (c_1|x) \end{align}$

Um das Risiko / den Verlust zu minimieren, prognostizieren Sie wenn die Kosten aus dem Fehler (dies ist der Verlust der falschen Vorhersage multipliziert mit der hinteren Wahrscheinlichkeit, dass die Vorhersage falsch ist ) geringer sind als die Kosten für die falsche Vorhersage der Alternative, $c_1$ $L_{12} \Pr (c_2|x)$

wobei die zweite Zeile die Bayes'sche Regel. Bei gleichen vorherigen WahrscheinlichkeitenSie

\begin{aligned} L_{12} Pr (c_{2} | x) & < L_{21} Pr (c_{1} | x) \\ L_{12} Pr (x | c_{2}) Pr (c_{2}) & < L_{21} Pr (x | c_{1}) Pr (c_{1}) \\ \frac{L_{12} Pr (c_{2})}{L_{21} Pr (c_{1})} & < \frac{Pr (x | c_{1})}{Pr (x | c_{2})} \end{aligned}

$\begin{align} L_{12} \Pr (c_2|x) &< L_{21} \Pr (c_1|x) \\ L_{12} \Pr (x|c_2) \Pr (c_2) &< L_{21} \Pr (x|c_1) \Pr (c_1) \\ \frac{L_{12} \Pr (c_2)}{L_{21} \Pr (c_1)} &< \frac{\Pr (x|c_1)}{ \Pr (x|c_2)} \end{align}$

Pr (c_{2} | x) \propto Pr (x | c_{2}) Pr (c_{2})

$\Pr (c_2|x) \propto \Pr (x|c_2) \Pr (c_2)$

Pr (c_{1}) = Pr (c_{2}) = 0.5

$\Pr (c_1) = \Pr (c_2) = 0.5$

\frac{1}{2} < \frac{Pr (x | c_{1})}{Pr (x | c_{2})}

$\frac{1}{2} < \frac{\Pr (x|c_1)}{ \Pr (x|c_2)}$

Sie klassifizieren also eine Beobachtung als wenn das Wahrscheinlichkeitsverhältnis diesen Schwellenwert überschreitet. Jetzt ist mir nicht klar, ob Sie den "besten Schwellenwert" in Bezug auf die Wahrscheinlichkeitsverhältnisse oder in Bezug auf das Attribut wissen wollten . Die Antwort ändert sich je nach Kostenfunktion. Verwendung des Gaußschen in der Ungleichung mit und , , $c_1$ $x$ $\sigma_1 = \sigma_2 = \sigma$ $\mu_1 = 0$ $\mu_2 = 1$

\begin{aligned} \frac{1}{2} & < \frac{\frac{1}{\sqrt{2 π} σ} \exp [- \frac{1}{2 σ^{2}} (x - μ_{1})^{2}]}{\frac{1}{\sqrt{2 π} σ} \exp [- \frac{1}{2 σ^{2}} (x - μ_{2})^{2}]} \\ \log (\frac{1}{2}) & < \log (\frac{1}{\sqrt{2 π} σ}) - \frac{1}{2 σ^{2}} (x - 0)^{2} - [\log (\frac{1}{\sqrt{2 π} σ}) - \frac{1}{2 σ^{2}} (x - 1)^{2}] \\ \log (\frac{1}{2}) & < - \frac{x^{2}}{2 σ^{2}} + \frac{x^{2}}{2 σ^{2}} - \frac{2 x}{2 σ^{2}} + \frac{1}{2 σ^{2}} \\ \frac{x}{σ^{2}} & < \frac{1}{2 σ^{2}} - \log (\frac{1}{2}) \\ x & < \frac{1}{2} - \log (\frac{1}{2}) σ^{2} \end{aligned}

$\begin{align} \frac{1}{2} &< \frac{\frac{1}{\sqrt{2\pi}\sigma}\exp \left[ -\frac{1}{2\sigma^2}(x-\mu_1)^2 \right]}{\frac{1}{\sqrt{2\pi}\sigma}\exp \left[ -\frac{1}{2\sigma^2}(x-\mu_2)^2 \right]} \\ \log \left(\frac{1}{2}\right) &< \log \left(\frac{1}{\sqrt{2\pi}\sigma}\right) -\frac{1}{2\sigma^2}(x-0)^2 - \left[ \log \left(\frac{1}{\sqrt{2\pi}\sigma}\right) -\frac{1}{2\sigma^2}(x-1)^2 \right] \\ \log \left(\frac{1}{2}\right) &< -\frac{x^2}{2\sigma^2} + \frac{x^2}{2\sigma^2} - \frac{2x}{2\sigma^2} + \frac{1}{2\sigma^2} \\ \frac{x}{\sigma^2} &< \frac{1}{2\sigma^2} - \log \left(\frac{1}{2}\right) \\ x &< \frac{1}{2} - \log \left(\frac{1}{2}\right) \sigma^2 \end{align}$ so a prediction threshold in terms of

x

$x$ as you search for can only be achieved if the losses from false predictions are the same, i.e.

L_{12} = L_{21}

$L_{12} = L_{21}$ because only then can you have

\log (\frac{L_{12}}{L_{21}}) = \log (1) = 0

$\log \left( \frac{L_{12}}{L_{21}} \right) = \log (1) = 0$ and you get the

x_{0} < \frac{1}{2}

$x_0 < \frac{1}{2}$ .

— Andy
quelle

Nice Answer, but confused me! if you want to choose

x_{0} = 0.5

$x_0=0.5$ or

x_{0} < 0.5

$x_0<0.5$ , which one is correct?

— user153695

So right on the decision boundary

x_{0} = 0.5

$x_0=0.5$ you can't tell exactly if an observation should be in class one or two (because it's exactly on the boundary). So choosing whether observation

i

$i$ should be in class 1 if

x_{0} \leq 0.5

$x_0 \leq 0.5$ or

x_{0} < 0.5

$x_0 < 0.5$ is up to you. With large enough samples this should happen for very few observations so at the margin it will matter litter for your result.

— Andy

all of my problem that set bounty to it thtat my prof. calculated

x_{0} < 0.5

$x_0<0.5$ and not accept

x_{0} = 0.5

$x_0=0.5$ please see my edit in question, I thin threshold should be

x_{0} < 0.5

$x_0<0.5$ .

— user153695

maybe 0.5-ln :)

— user153695

@whuber thanks, I completely missed that so I started from a completely wrong end.

— Andy