So bestimmen Sie die Qualität eines Klassifikators für mehrere Klassen

Gegeben

ein Datensatz mit Instanzen zusammen mit Klassen, wobei jede Instanz genau zu einer Klasse $x_i$ $N$ $x_i$ $y_i$
ein Klassifikator für mehrere Klassen

Nach dem Training und Testen habe ich grundsätzlich eine Tabelle mit der wahren Klasse und der vorhergesagten Klasse für jede Instanz im Testsatz. Also habe ich für jede Instanz entweder eine Übereinstimmung ( ) oder eine Verfehlung ( ). $y_i$ $a_i$ $x_i$ $y_i= a_i$ $y_i\neq a_i$

Wie kann ich die Qualität des Spiels bewerten? Das Problem ist, dass einige Klassen viele Mitglieder haben können, dh viele Instanzen gehören dazu. Wenn 50% aller Datenpunkte zu einer Klasse gehören und mein Endklassifikator zu 50% korrekt ist, habe ich offensichtlich nichts gewonnen. Ich hätte genauso gut einen trivialen Klassifikator erstellen können, der die größte Klasse ausgibt, unabhängig von der Eingabe.

Gibt es eine Standardmethode, um die Qualität eines Klassifikators basierend auf den bekannten Testergebnissen von Übereinstimmungen und Treffern für jede Klasse zu schätzen? Vielleicht ist es sogar wichtig, Übereinstimmungsraten für jede bestimmte Klasse zu unterscheiden?

Der einfachste Ansatz, den ich mir vorstellen kann, ist es, die richtigen Matches der größten Klasse auszuschließen. Was sonst?

machine-learning classification multi-class

— Gerenuk
quelle

Ich bin mir nicht sicher, ob ich die Frage richtig verstehe. Kennen Sie die Verwirrungsmatrix und abgeleitete Maßnahmen ? Ist das die Antwort auf Ihre Frage? Oder beziehen Sie sich auf etwas Komplizierteres?

— Steffen

Ich denke, das ist die Quelle meiner Verwirrung: Im ersten Absatz geben Sie an, wo yi die wirklichen Klassen sind und ... : Meinen Sie, dass eine Instanz

gehören kann, mehr als eine Klasse hat? Oder gehört / hat jedes

genau einer Klasse? Können Sie bitte klarstellen ?

x_{i}

$x_i$

x_{i}

$x_i$

— steffen

@steffen: Ich habe die Verwirrungsmatrix gesehen. In meinem speziellen Fall habe ich 4 Klassen. Ich bin mir also nicht sicher, welche abgeleiteten Maßnahmen verwendet werden können und Sinn machen würden. Jedes

gehört nur einer Klasse an. Insgesamt gibt es jedoch mehr als zwei mögliche Klassen

x_{i}

$x_i$

i \in [1, \dots, N]

$i\in [1,\cdots,N]$

— Gerenuk

@steffen Diese abgeleiteten Kennzahlen gelten in erster Linie für die binäre Klassifizierung, wobei es sich bei dieser Frage explizit um mehr als zwei Klassen handelt. Dies erfordert dann ein modifiziertes Verständnis von Begriffen wie "wahres Positiv".

— Michael McGowan

@MichaelMcGowan Ich habe das OP um Klärung gebeten und anschließend eine Bearbeitung durchgeführt, um das Problem der Mehrfachklassen zu reflektieren, das vor der Bearbeitung nicht offensichtlich war (IMHO).

— Steffen

Antworten:

Wie bei der binären Klassifizierung können Sie die empirische Fehlerrate zur Abschätzung der Qualität Ihres Klassifikators verwenden. Sei ein Klassifikator und und jeweils ein Beispiel in Ihrer Datenbank und ihrer Klasse. $g$ $x_i$ $y_i$ Wie Sie gesagt, wenn die Klassen unausgeglichen sind, die Basislinie nicht50%, aber der Anteil der größeren Klasse. Sie können jeder Klasse eine Gewichtung hinzufügen, um den Fehler auszugleichen. Seidas Gewicht der Klasse. Stellen Sie die Gewichte so ein, dass

e r r (G) = \frac{1}{n} \sum_{ich \leq n} 1_{G (x_{ich}) \neq y_{ich}}

$err(g) = \frac{1}{n} \sum_{i \leq n} \mathbb{1}_{g(x_i) \neq y_i}$

W_{y}

$W_y$

y

$y$

und definieren diegewichteten empirischen Fehler

\frac{1}{W_{y}} \sim \frac{1}{n} \sum_{i \leq n} 1_{y_{i} = y}

$\frac{1}{W_y} \sim \frac{1}{n}\sum_{i \leq n} \mathbb{1}_{y_i = y}$

e r r_{W} (G) = \frac{1}{n} \sum_{ich \leq n} W_{y_{ich}} 1_{G (x_{ich}) \neq y_{ich}}

$err_W(g) = \frac{1}{n} \sum_{i \leq n} W_{y_i} \mathbb{1}_{g(x_i) \neq y_i}$

Wie Steffen sagte, könnte die Verwirrungsmatrix eine gute Möglichkeit sein, die Qualität eines Klassifikators einzuschätzen. Im binären Fall können Sie aus dieser Matrix ein Maß ableiten, z. B. die Sensitivität und Spezifität, und so die Fähigkeit eines Klassifikators abschätzen, eine bestimmte Klasse zu erkennen. Die Fehlerquelle eines Klassifikators kann auf eine bestimmte Art und Weise sein. Zum Beispiel kann ein Klassifikator bei der Vorhersage einer 1 zu sicher sein, aber bei der Vorhersage einer 0 niemals falsch sagen. Viele Klassifikatoren können so parametrisiert werden, dass sie diese Rate steuern (falsch-positive vs. falsch-negative), und Sie interessieren sich dann für die Qualität der ganze Familie von Klassifikatoren, nicht nur eine. Daraus können Sie die ROC- Kurve zeichnen , und die Messung der Fläche unter der ROC-Kurve gibt Ihnen die Qualität dieser Klassifikatoren.

ROC-Kurven können für Ihr Mehrklassenproblem erweitert werden. Ich schlage vor, die Antwort dieses Threads zu lesen .

— Emile
quelle

Ist es nicht notwendig, den gewichteten empirischen Fehler durch die Anzahl der Klassen zu dividieren, um auf der gleichen Skala wie der empirische Fehler zu liegen? Sonst wäre es viel größer ...

— PhilippPro

Um mehrwegige Textklassifizierungssysteme zu bewerten, verwende ich mikro- und makromitteltes F1 (F-Measure). Das F-Maß ist im Wesentlichen eine gewichtete Kombination aus Präzision und Erinnerung daran. Für die binäre Klassifizierung sind die Mikro- und Makroansätze gleich, aber für den Mehrwegefall denke ich, dass sie Ihnen helfen könnten. Sie können sich Micro F1 als eine gewichtete Kombination aus Präzision und Erinnerung vorstellen, die jedem Dokument das gleiche Gewicht verleiht, während Macro F1 jeder Klasse das gleiche Gewicht verleiht. Die F-Measure-Gleichung ist für jede Gleichung gleich, aber Sie berechnen die Genauigkeit und rufen sie anders ab:

F = \frac{(β^{2} + 1) P R}{β^{2} P + R},

$F = \frac{(\beta^{2} + 1)PR}{\beta^{2}P+R},$

$\beta$

P_{m ich c r O} = \frac{\sum_{ich = 1}^{| C |} T P_{ich}}{\sum_{ich = 1}^{| C |} T P_{ich} + F P_{ich}}, R_{m ich c r O} = \frac{\sum_{ich = 1}^{| C |} T P_{ich}}{\sum_{ich = 1}^{| C |} T P_{ich} + F N_{ich}}

$P_{micro}=\frac{\sum^{|C|}_{i=1}TP_{i}}{\sum^{|C|}_{i=1}TP_{i}+FP_{i}}, R_{micro}=\frac{\sum^{|C|}_{i=1}TP_{i}}{\sum^{|C|}_{i=1}TP_{i}+FN_{i}}$

P_{m ein c r O} = \frac{1}{| C |} \sum_{ich = 1}^{| C |} \frac{T P_{ich}}{T P_{ich} + F P_{ich}}, R_{m ein c r O} = \frac{1}{| C |} \sum_{ich = 1}^{| C |} \frac{T P_{ich}}{T P_{ich} + F N_{ich}}

$P_{macro}=\frac{1}{|C|}\sum^{|C|}_{i=1}\frac{TP_{i}}{TP_{i}+FP_{i}}, R_{macro}=\frac{1}{|C|}\sum^{|C|}_{i=1}\frac{TP_{i}}{TP_{i}+FN_{i}}$

woher $TP$ ist wahr positiv, $FP$ ist falsch positiv, $FN$ ist falsch negativ und $C$ ist klasse.

— Kyle.
quelle

# Function in R, using precision, recall and F statistics

check.model.accuracy <- function(predicted.class, actual.class){

  result.tbl <- as.data.frame(table(predicted.class,actual.class ) ) 

  result.tbl$Var1 <- as.character(result.tbl$predicted.class)
  result.tbl$Var2 <- as.character(result.tbl$actual.class)

  colnames(result.tbl)[1:2] <- c("Pred","Act")

  cntr <- 0  
  for (pred.class in unique(result.tbl$Pred) ){
    cntr <- cntr+ 1
    tp <- sum(result.tbl[result.tbl$Pred==pred.class & result.tbl$Act==pred.class, "Freq"])
    tp.fp <- sum(result.tbl[result.tbl$Pred == pred.class , "Freq" ])
    tp.fn <- sum(result.tbl[result.tbl$Act == pred.class , "Freq" ])
    presi <- tp/tp.fp 
    rec <- tp/tp.fn
    F.score <- 2*presi*rec/(presi+rec)
    if (cntr == 1 ) F.score.row <- cbind(pred.class, presi,rec,F.score)
    if (cntr > 1 ) F.score.row <- rbind(F.score.row,cbind(pred.class,presi,rec,F.score))
  }

  F.score.row <- as.data.frame(F.score.row) 
  return(F.score.row)
}

check.model.accuracy(predicted.df,actual.df) 
# For multiclass, average across all classes

— Ashish Markanday
quelle

Können Sie Text hinzufügen, um dies zu erläutern?

— gung - Wiedereinsetzung von Monica