Wie wählt man aus Präzisionsrückrufkurven einen guten Betriebspunkt aus?

Gibt es eine Standardmethode zur Bestimmung eines "optimalen" Betriebspunkts auf einer Präzisionsrückrufkurve ? (dh Bestimmen des Punktes auf der Kurve, der einen guten Kompromiss zwischen Präzision und Rückruf bietet)

Vielen Dank

Die Definition von "optimal" hängt natürlich von Ihren spezifischen Zielen ab, aber hier sind einige relativ "Standard" -Methoden:

• EER-Punkt (Equal Error Rate): Der Punkt, an dem Präzision gleich Rückruf ist. Dies fühlt sich für manche Menschen wie ein "natürlicher" Betriebspunkt an.

• Eine verfeinerte und prinzipiellere Version des oben genannten besteht darin, die Kosten für die verschiedenen Arten von Fehlern anzugeben und diese Kosten zu optimieren. Angenommen, eine Fehlklassifizierung eines Artikels (ein Fehler in der Genauigkeit) ist doppelt so teuer wie das vollständige Fehlen eines Artikels (Fehler beim Rückruf). Dann ist der beste Arbeitspunkt der mit (1 - Rückruf) = 2 * (1 - Genauigkeit).

• Bei einigen Problemen haben Menschen eine natürliche minimale akzeptable Rate an Präzision oder Rückruf. Angenommen, Sie wissen, dass die Benutzer Ihre Anwendung nicht mehr verwenden, wenn mehr als 20% der abgerufenen Daten falsch sind. Dann ist es natürlich, die Genauigkeit auf 80% (oder etwas niedriger) einzustellen und jeden Rückruf zu akzeptieren, den Sie zu diesem Zeitpunkt haben.

Weiterverfolgung der zweiten und dritten Punkte von SheldonCooper: Die ideale Wahl besteht darin, dass jemand anderes die Wahl trifft , entweder in Form eines Schwellenwerts (Punkt 3) oder eines Kosten-Nutzen-Kompromisses (Punkt 2). Und vielleicht ist der schönste Weg, ihnen die Wahl zu bieten, eine ROC-Kurve .

Ich bin mir nicht sicher, wie "Standard" dies ist, aber eine Möglichkeit wäre, den Punkt zu wählen, der (1, 1) am nächsten liegt - dh 100% Rückruf und 100% Präzision. Das wäre das optimale Gleichgewicht zwischen den beiden Maßnahmen. Dies setzt voraus, dass Sie Präzision nicht über Rückruf legen oder umgekehrt.