0-1 Erklärung der Verlustfunktion

18

Ich versuche zu verstehen, was der Zweck der Verlustfunktion ist, und ich kann es nicht ganz verstehen.

Nach meinem Verständnis dient die Verlustfunktion zur Einführung einer Art Metrik, mit der wir die "Kosten" einer falschen Entscheidung messen können.

Nehmen wir an, ich habe einen Datensatz von 30 Objekten. Ich habe sie in Trainings- / Testsätze wie 20/10 unterteilt. Ich verwende die 0-1-Verlustfunktion. Nehmen wir also an, mein Satz von Klassenbezeichnungen ist M und die Funktion sieht so aus :

L (ich, j) = {\begin{cases} 0 ich = j \\ 1 ich \neq j \end{cases} ich, j \in M

$L(i, j) = \begin{cases} 0 \qquad i = j \\ 1 \qquad i \ne j \end{cases} \qquad i,j \in M$

Also baute ich ein Modell auf meinen Trainingsdaten auf, sagen wir, ich verwende den Naive Bayes-Klassifikator, und dieses Modell klassifizierte 7 Objekte richtig (wies ihnen die richtigen Klassenbeschriftungen zu) und 3 Objekte wurden falsch klassifiziert.

Meine Verlustfunktion würde also 7-mal "0" und 3-mal "1" zurückgeben - welche Art von Informationen kann ich daraus erhalten? Dass mein Model 30% der Objekte falsch klassifiziert hat? Oder steckt noch mehr dahinter?

Wenn es Fehler in meiner Denkweise gibt, tut es mir sehr leid, ich versuche nur zu lernen. Wenn das von mir angegebene Beispiel "zu abstrakt" ist, lassen Sie es mich wissen, ich werde versuchen, genauer zu sein. Wenn Sie versuchen, das Konzept anhand eines anderen Beispiels zu erläutern, verwenden Sie bitte die 0-1-Verlustfunktion.

machine-learning loss-functions

— Johnny Johansson
quelle

13

Sie haben die 0-1-Verlustfunktion korrekt zusammengefasst, um die Genauigkeit effektiv zu betrachten. Ihre Einsen werden zu Indikatoren für falsch klassifizierte Elemente, unabhängig davon, wie sie falsch klassifiziert wurden. Da Sie drei Einsen von 10 Elementen haben, beträgt Ihre Klassifizierungsgenauigkeit 70%.

Wenn Sie die Gewichtung der Verlustfunktion ändern, gilt diese Interpretation nicht mehr. Beispielsweise kann es bei der Klassifizierung von Krankheiten kostspieliger sein, einen positiven Krankheitsfall (falsch negativ) auszulassen, als eine Krankheit fälschlicherweise zu diagnostizieren (falsch positiv). In diesem Fall würde Ihre Verlustfunktion eine falsch negative Fehlklassifizierung stärker gewichten. Die Summe Ihrer Verluste würde in diesem Fall nicht mehr die Richtigkeit wiedergeben, sondern die gesamten "Kosten" einer Fehlklassifizierung. Die 0-1-Verlustfunktion ist in ihrer Äquivalenz zur Genauigkeit einzigartig, da es Ihnen nur darum geht, ob Sie es richtig gemacht haben oder nicht und nicht, wie die Fehler gemacht werden.

— Kern Wang
quelle

@ JohnnyJohansson, das ist die Definition der Genauigkeit in der Statistik, siehe en.wikipedia.org/wiki/Sensitivity_and_specificity

— Tim

@Tim - Ich bin immer noch verwirrt von der 0-1-Verlustfunktion - könnte die resultierende Matrix Werte größer als 1 haben, dh wenn es 3 Fehlerklassifizierungen gibt, würden wir im entsprechenden Eintrag den Wert 3 sehen? siehe hier math.stackexchange.com/questions/2623072/…

— Xavier Bourret Sicotte

2

$L_1$ $L_2$

— Tim
quelle

0

Ich denke, Ihre Verwirrung unterscheidet nicht den Verlust für einen Datenpunkt gegenüber dem Verlust für den gesamten Datensatz.

$L(y,\hat y)$

\sum_{ich} L (y_{ich}, {\hat{y}}_{ich})

$\sum_i L(y_i,\hat y_i)$

— Haitao Du
quelle

Ich verstehe den Unterschied tatsächlich, aber es fällt mir schwer zu verstehen, wie ich diesen Verlust für einen Datenpunkt benötige, außer den Verlust für den gesamten Datensatz zu berechnen. Und was sollte ich beachten, wenn ich für ein bestimmtes Problem eine angemessene Verlustfunktion wähle?

— Johnny Johansson