ImageNet: Was ist die Top-1- und Top-5-Fehlerrate?

In ImageNet-Klassifizierungspapieren sind die Fehlerquoten Top 1 und Top 5 wichtige Maßeinheiten für den Erfolg einiger Lösungen. Doch wie hoch sind diese Fehlerquoten?

In der ImageNet-Klassifikation mit Deep Convolutional Neural Networks von Krizhevsky et al. Jede Lösung, die auf einer einzelnen CNN basiert (Seite 7), hat keine Top-5-Fehlerraten, während die mit 5 und 7 CNNs (und auch die Fehlerrate für 7 CNNs ist besser als für 5 CNNs).

Bedeutet dies, dass die Top-1-Fehlerrate die beste einzelne Fehlerrate für eine einzelne CNN ist?

Ist die Top-5-Fehlerrate einfach die akkumulierte Fehlerrate von fünf CNNs?

[...] wobei die Top-5-Fehlerrate der Bruchteil der Testbilder ist, für die das richtige Etikett nicht zu den fünf Etiketten gehört, die vom Modus als am wahrscheinlichsten angesehen werden.

Zuerst machen Sie eine Vorhersage unter Verwendung der CNN und erhalten die vorhergesagte Klassen-Multinomialverteilung ( ).$\sum p_{class} = 1$

Im Fall der Top-1- Punktzahl prüfen Sie nun, ob die Top-Klasse (die mit der höchsten Wahrscheinlichkeit) mit der Zielmarke übereinstimmt.

Bei der Top-5- Wertung prüfen Sie, ob die Zielkennzeichnung eine Ihrer Top-5-Vorhersagen ist (die 5 mit den höchsten Wahrscheinlichkeiten).

In beiden Fällen wird die Höchstpunktzahl berechnet, wenn eine vorhergesagte Bezeichnung mit der Zielbezeichnung übereinstimmt, geteilt durch die Anzahl der ausgewerteten Datenpunkte.

Wenn 5-CNNs verwendet werden, mitteln Sie ihre Vorhersagen zunächst und folgen demselben Verfahren zur Berechnung der Top-1- und Top-5-Ergebnisse.

Ihr Klassifikator gibt Ihnen eine Wahrscheinlichkeit für jede Klasse. Nehmen wir an, wir hatten nur "Katze", "Hund", "Haus", "Maus" als Klassen (in dieser Reihenfolge). Dann gibt der Klassifikator so etwas wie

0.1; 0.2; 0.0; 0.7

als Ergebnis. Die Top-1-Klasse ist "Maus". Die Top-2-Klassen sind {mouse, dog}. Wenn die richtige Klasse "Hund" wäre, würde sie für die Top-2-Genauigkeit als "richtig", für die Top-1-Genauigkeit jedoch als falsch gewertet.

$k$$k$