ImageNet: Was bedeutet Top-5-Fehler?

9

Eine der Bewertungsmethoden für ImageNet Competition (Klassifizierung von Bildern mit 1.000 Kategorien) ist der Top-5-Fehler. Was bedeutet das?

Siehe: http://www.image-net.org/challenges/LSVRC/

machine-learning classification computer-vision

— RockTheStar
quelle

8

Der Top-5-Fehler, auch als Rang-5-Fehler bekannt, ist einfach eine Instanziierung der Rang-N-Fehlermetrik mit $(N=5)$ .

Der Rang- $N$ Fehler ist der Bruchteil der Testproben $x_i$ bei dem die korrekte Bezeichnung $y_i$ nicht in den oberen $N$ vorhergesagten Ergebnissen des Modells erscheint, wenn die Ergebnisse in absteigender Reihenfolge der Konfidenz sortiert werden, oder $P(y_i|x_i)$ .

In ILSVRC 2014 lautete die Fehlermetrik für die Klassifizierung:

e = \frac{1}{n} \cdot \sum_{k} min_{i} d (c_{i}, C_{k})

$e = \tfrac{1}{n} \cdot \sum_k \min_{i} d(c_i, C_k)$

wo

d (a, b) = {\begin{cases} 0 & if a = b \\ 1 & otherwise \end{cases}

$d(a, b) = \begin{cases} 0 & \text{if } a = b \\ 1 & \text{otherwise} \end{cases}$

$c_i$ ist das vorhergesagte Label und ist das Ground-Truth-Label. Es gibt mögliche Bezeichnungen mit . $C_k$ $n$ $k=1, ..., n$

— Sabalaba
quelle

Groß! Eine Klarstellung: Was bedeutet c und großgeschriebenes C?

— RockTheStar

Hier ist großes C eines der Grundwahrheitslabels und kleines C eines der vorhergesagten Labels.

— Sabalaba

1

sabalaba - könnten Sie diese Informationen zu Ihrer Antwort hinzufügen?

— Glen_b -State Monica

3

Die Top-5-Fehlerrate (eines Modells) ist der Anteil der Testbilder, für die das richtige Etikett nicht zu den fünf Etiketten gehört, die vom Modell als am wahrscheinlichsten angesehen werden [ 1 ].

— Debvrat Varshney
quelle

1

Ich denke, die bedingte Bewertung von sollte lauten: , wenn in den obersten N wahrscheinlichen Klassifikationen für eine gegebene Grundwahrheitsklasse Bk auftritt. = 1, wenn nicht. $d(A_i, B_k)$ $d(Ai, Bk) = 0$ $A_i$

Hier nimmt k die Werte 0 bis N-1 an. Wobei N die Anzahl der Klassen ist. Für jedes gibt es wahrscheinliche Klassifikationen, wobei i Werte [0, N-1] annimmt. $B_k$ $A_i$

— RM Nair
quelle