Was bedeutet die Notation mAP @ [. 5: .95]?

17

Eine gängige Methode zur Feststellung, ob ein Objektvorschlag richtig war, ist die Ermittlung von Schnittpunkten über Union (IoU, IU). Dies nimmt die Menge der vorgeschlagenen Objektpixel und die Menge der wahren Objektpixel und berechnet: $A$ $B$

ich Ö U (EIN, B) = \frac{EIN \cap B}{EIN \cup B}

$IoU(A, B) = \frac{A \cap B}{A \cup B}$

Im Allgemeinen bedeutet IoU> 0,5, dass es ein Treffer war, ansonsten war es ein Fehlschlag. Für jede Klasse kann man das berechnen

Wahre Positive ( ): ein Vorschlag für die Klasse gemacht und es gab tatsächlich ein Objekt der Klasse $TP(c)$ $c$ $c$
False Positive ( ): Es wurde ein Vorschlag für die Klasse , aber es gibt kein Objekt der Klasse $FP(c)$ $c$ $c$
Durchschnittliche Präzision für Klasse : $c$ $\frac{\#TP(c)}{\#TP(c) + \#FP(c)}$

Der mAP (Mean Average Precision) = $\frac{1}{|classes|}\sum_{c \in classes} \frac{\#TP(c)}{\#TP(c) + \#FP(c)}$

Wenn man bessere Vorschläge möchte, erhöht man die IoU von 0,5 auf einen höheren Wert (bis zu 1,0, was perfekt wäre). Man kann dies mit mAP @ p bezeichnen, wobei die IoU ist. $p \in (0, 1)$

Aber was bedeutet mAP@[.5:.95](wie in diesem Artikel beschrieben )?

computer-vision

— Martin Thoma
quelle

Ich vermute, der [.5:.95]Teil bezieht sich auf einen Bereich von IoU-Werten, aber wie dieser Bereich in einem einzelnen mAP bewertet wird, würde ich nicht wissen.

— Neil Slater

@NeilSlater Aber warum willst du eine obere Grenze? Ist eine höhere IoU nicht immer besser?

— Martin Thoma

Es ist besser, eine Übereinstimmung mit einer höheren IoU zu erzielen, aber vermutlich wird der mAP-Wert verringert, wenn wir messen, wie gut das Modell perfekte Übereinstimmungen beschreibt (für jedes Modell), und dies wird nicht als nützliche Maßnahme angesehen. Warum es nicht in dem Bereich enthalten ist, weiß ich zwar nicht, aber dann weiß ich nicht, wie das mAP in diesem Fall berechnet wird - es kann beispielsweise ein einfacher Mittelwert sein, der auf Stichproben basiert.

— Neil Slater

1

Es gibt dieses Github-Repository mit einer hervorragenden Erklärung zu IOU , Präzision , Rückruf , durchschnittlicher Präzision und mAP . Es hat auch einen Code, der alle Objektdetektoren auswertet. Es wird euch sicherlich helfen : https://github.com/rafaelpadilla/Object-Detection-Metrics

— Rafael Padilla

10

mAP@[.5:.95](Jemand bezeichnet mAP@[.5,.95]) bedeutet durchschnittliche mAP über verschiedene IoU-Schwellen von 0,5 bis 0,95, Schritt 0,05 (0,5, 0,55, 0,6, 0,65, 0,7, 0,75, 0,8, 0,85, 0,9, 0,95).

Es gibt eine zugehörige MS COCO-Herausforderung mit einer neuen Bewertungsmetrik, die den Durchschnitt von mAP über verschiedene IoU-Schwellenwerte von 0,5 bis 0,95 (geschrieben als „0,5: 0,95“) berechnet. [ Ref ]

Wir werten den gemittelten mAP für IoU ∈ [0,5: 0,05: 0,95] (COCOs Standardmetrik, einfach als mAP @ [. 5, .95] bezeichnet) und mAP@0,5 (PASCAL VOCs Metrik) aus. [ Ref ]

Zur Bewertung unserer endgültigen Erkennungen verwenden wir die offizielle COCO-API [20], die unter anderem den über die IOU-Schwellenwerte gemittelten mAP in [0,5: 0,05: 0,95] misst. [ Ref ]

Übrigens zeigt der Quellcode von coco genau, was zu mAP@[.5:.95]tun ist:

self.iouThrs = np.linspace(.5, 0.95, np.round((0.95 - .5) / .05) + 1, endpoint=True)

Verweise

https://github.com/pdollar/coco

http://mscoco.org/

https://www.cs.cornell.edu/~sbell/pdf/cvpr2016-ion-bell.pdf

https://arxiv.org/pdf/1506.01497.pdf

https://arxiv.org/pdf/1611.10012.pdf

— Eisklinge
quelle

Stört Sie eine Frage? Wenn der Datensatz beispielsweise 3 Instanzen einer bestimmten Klasse enthält und das Modell einen Wert von 0,1, 0,6 und 0,9 zurückgibt, bedeutet dies, dass das Ergebnis von 0,1 und der Wert von 0,75 sowie der entsprechende mAP verworfen werden?

— Alex

5

$\frac{\#TP(c)}{\#TP(c) + \#FP(c)}$

— anhvh
quelle

Die Definition von Average Precision (AP) finden Sie in der Referenz auf Seite 11.

— Waylon Flinn

3

AP wird über alle Kategorien gemittelt. Traditionell wird dies als "Mean Average Precision" (mAP) bezeichnet. Wir unterscheiden nicht zwischen AP und mAP (und auch nicht zwischen AR und mAR) und gehen davon aus, dass der Unterschied aus dem Kontext klar hervorgeht.

http://cocodataset.org/#detections-eval

— Mark Yang
quelle

Ich dachte, dass mAP der Durchschnitt der APs in mehreren Klassen ist. Ich mag es, Ihre / Papierautorendefinition der Kategorie zu kennen.

— Cloud Cho