Wann ist Präzision wichtiger als Rückruf?

Kann mir jemand einige Beispiele nennen, bei denen es auf Präzision ankommt, und einige Beispiele, bei denen es auf Rückruf ankommt?

• Bei der Modellierung seltener Krebsdaten ist alles, was keine falsch-negativen Ergebnisse liefert, ein Verbrechen. Rückruf ist ein besseres Maß als Präzision.
• Falschnegative sind für YouTube-Empfehlungen weniger wichtig. Präzision ist hier besser.

Ich kann Ihnen meinen wirklichen Fall nennen, wenn der Rückruf wichtiger ist:

Jede Woche registrieren sich Tausende kostenloser Kunden auf unserer Website. Das Call-Center-Team möchte sie alle anrufen, aber das ist unmöglich. Deshalb fordern sie mich auf, diejenigen auszuwählen, die gute Chancen haben, Käufer zu werden (bei hohen Temperaturen beziehen wir uns auf sie). Es ist uns egal, ob wir jemanden anrufen, der nicht kauft (Präzision ist also nicht wichtig), aber für uns ist es sehr wichtig, dass alle mit hohen Temperaturen immer in meiner Auswahl sind, damit sie nicht ohne Kauf auskommen. Das bedeutet, dass mein Modell einen hohen Wiedererkennungswert haben muss , egal ob die Präzision in die Hölle geht.

Ich hoffe, es hilft! Miguel.

In einigen Situationen ist der Rückruf zwar wichtiger als die Genauigkeit (oder umgekehrt), Sie benötigen jedoch beide, um eine besser interpretierbare Beurteilung zu erhalten.

Zum Beispiel ist, wie @SmallChess feststellt, in der medizinischen Gemeinschaft ein falsches Negativ für vorläufige Diagnosen in der Regel katastrophaler als ein falsches Positiv. Daher könnte man den Rückruf als wichtigeres Maß betrachten. Sie könnten jedoch einen 100% igen Rückruf haben und dennoch ein unbrauchbares Modell haben: Wenn Ihr Modell immer eine positive Vorhersage ausgibt, würde es einen 100% igen Rückruf haben, aber völlig uninformativ sein.

Aus diesem Grund betrachten wir mehrere Metriken:

• Precision-Recall-Kurve
• AUROC
• und manchmal Metriken wie die F-Punktzahl

Was wichtiger ist, hängt einfach davon ab, wie hoch die Kosten für jeden Fehler sind.

Präzision verursacht in der Regel direkte Kosten. Je mehr False Positives Sie haben, desto mehr Kosten pro True Positives haben Sie. Wenn Ihre Kosten niedrig sind, spielt Präzision keine Rolle. Wenn Sie beispielsweise 1 Million E-Mail-Adressen haben und das Senden einer E-Mail an alle 10 US-Dollar kostet, lohnt es sich wahrscheinlich nicht, die Personen zu identifizieren, die am wahrscheinlichsten antworten, sondern nur alle zu spammen.

Rückrufs hat andererseits tendenziell Opportunitätskosten verursacht; Jedes Mal, wenn Sie ein falsches Negativ haben, geben Sie Chancen auf. Daher ist der Erinnerungswert am unwichtigsten, wenn der Grenzwert der zusätzlichen korrekten Identifizierung gering ist, z. B. wenn mehrere Möglichkeiten bestehen, sie sich kaum voneinander unterscheiden und nur eine begrenzte Anzahl verfolgt werden kann. Angenommen, Sie möchten einen Apfel kaufen. Es gibt 100 Äpfel im Laden, von denen 10 schlecht sind. Wenn Sie eine Methode zur Unterscheidung schlechter Äpfel verwenden, bei der 80% der guten Äpfel fehlen, werden Sie ungefähr 18 gute Äpfel identifizieren. Normalerweise wäre ein Rückruf von 20% furchtbar, aber wenn Sie nur 5 Äpfel wollen, ist das Fehlen dieser anderen 72 Äpfel eigentlich egal.

Rückruf ist also am wichtigsten, wenn:

- Die Anzahl der Gelegenheiten ist gering (wenn es nur 10 gute Äpfel gäbe, würden Sie wahrscheinlich keine 5 guten mit einer Rückrufquote von nur 20% finden). -
Es gibt erhebliche Unterschiede zwischen den Gelegenheiten (wenn einige Äpfel besser sind als andere) Dann reicht eine Rückrufquote von 20% aus, um 5 gute Äpfel zu erhalten, aber dies sind nicht unbedingt die besten Äpfel.
ODER
- Der marginale Nutzen von Chancen bleibt hoch, auch für eine große Anzahl von Chancen. Zum Beispiel, während die meisten Käufer nicht viel von mehr als 18 guten Äpfeln haben, ist der Laden möchte mehr als 18 Äpfel verkaufen.

Daher ist Präzision wichtiger als Erinnerung, wenn die Kosten für das Handeln hoch sind, aber die Kosten für das Nichthandeln niedrig sind. Beachten Sie, dass dies die Kosten des Handelns / Nichthandelns pro Kandidat sind, nicht die "Kosten, überhaupt etwas zu tun", sondern die "Kosten, überhaupt nichts zu tun". Im Apfelbeispiel sind es die Kosten für den Kauf / Nichtkauf eines bestimmten Apfels, nicht die Kosten für den Kauf einiger Äpfel im Vergleich zu den Kosten für den Nichtkauf von Äpfeln. Die Kosten für den Verzicht auf einen bestimmten Apfel sind gering, da es viele andere Äpfel gibt. Da die Kosten für den Kauf eines schlechten Apfels hoch sind, die Kosten für die Weitergabe eines bestimmten guten Apfels jedoch niedrig sind, ist in diesem Beispiel die Präzision wichtiger. Ein weiteres Beispiel wäre die Einstellung von Mitarbeitern, wenn es viele ähnliche Kandidaten gibt.

Rückruf ist wichtiger als Präzision, wenn die Kosten für das Handeln gering sind, aber die Opportunitätskosten für die Weitergabe eines Kandidaten hoch sind. Es gibt das Spam-Beispiel, das ich zuvor gegeben habe (die Kosten für das Versäumen einer E-Mail-Adresse sind nicht hoch, aber die Kosten für das Versenden einer E-Mail an jemanden, der nicht antwortet, sind noch niedriger), und ein anderes Beispiel wäre die Identifizierung von Kandidaten für Die Grippeimpfung: Geben Sie die Grippeimpfung an jemanden, der sie nicht benötigt, und sie kostet ein paar Dollar. Geben Sie sie nicht an jemanden, der sie benötigt, und sie könnten sterben. Aus diesem Grund bieten Krankenversicherungspläne die Grippeimpfung im Allgemeinen für alle an, wobei die Präzision gänzlich außer Acht gelassen wird.

Accumulation hat eine großartige Antwort darauf, wie Sie weitere Beispiele finden können, die die Bedeutung der Präzision gegenüber dem Abrufen und umgekehrt erläutern.

Die meisten anderen Antworten sprechen für die Wichtigkeit des Rückrufs, daher dachte ich, ich würde ein Beispiel für die Wichtigkeit der Präzision geben. Dies ist ein völlig hypothetisches Beispiel, aber es trifft zu.

Angenommen, ein Modell für maschinelles Lernen wird erstellt, um vorherzusagen, ob ein bestimmter Tag ein guter Tag zum Starten von Satelliten ist oder nicht, basierend auf dem Wetter.

• Wenn das Modell versehentlich vorhersagt, dass ein guter Tag zum Starten von Satelliten schlecht ist ( falsch negativ ), verpassen wir die Chance zum Starten. Das ist keine so große Sache.

• Wenn das Modell jedoch vorhersagt, dass es ein guter Tag ist, der Start der Satelliten jedoch ein schlechter Tag ist ( falsch positiv ), können die Satelliten zerstört werden und die Kosten für Schäden werden in Milliardenhöhe liegen.

Dies ist ein Fall, in dem Präzision wichtiger ist als Rückruf.

Es fiel mir schwer, mich an den Unterschied zwischen Präzision und Erinnerung zu erinnern, bis ich mir dieses Mnemon für mich selbst einfiel:

PREcision bezieht sich auf Schwangerschaftstests, während reCALL auf CALL-Center verweist.

Bei einem Schwangerschaftstest muss der Testhersteller sicherstellen, dass ein positives Ergebnis bedeutet, dass die Frau wirklich schwanger ist. Menschen könnten auf einen positiven Test reagieren, indem sie plötzlich heiraten oder ein Haus kaufen (wenn viele Verbraucher falsch positive Ergebnisse erzielen und ohne Grund hohe Kosten erleiden, würde der Testhersteller Kunden vermissen). Ich habe einmal einen falsch-negativen Schwangerschaftstest erhalten und es bedeutete nur, dass es noch ein paar Wochen dauerte, bis ich herausfand, dass ich schwanger war ... die Wahrheit wurde schließlich offensichtlich. (Wortspiel beabsichtigt.)

Stellen Sie sich jetzt ein Callcenter für Versicherungsansprüche vor. Die meisten betrügerischen Behauptungen werden montags angerufen, nachdem sich die Betrüger mit Mitarbeitern in Verbindung gesetzt haben und über das Wochenende ihre erfundenen Geschichten verfasst haben ("Sagen wir, das Auto wurde gestohlen"). Was kann eine Versicherung montags am besten? Möglicherweise sollten sie abstimmen, um Rückruf über Präzision zu bevorzugen. Es ist weitaus besser, mehr Forderungen als positiv zu kennzeichnen (wahrscheinlicher Betrug), als einen Teil des Betrugs zu verpassen und Bargeld auszuzahlen, das niemals hätte ausgezahlt werden dürfen. Ein falsches Positiv (zur weiteren Prüfung als möglicherweise Betrug gekennzeichnet, aber der Kundenverlust war real) kann wahrscheinlich durch die Beauftragung eines erfahrenen Justierers aufgeklärt werden, der auf einem Polizeibericht bestehen, ein Sicherheitsvideo erstellen usw. kann. Ein falsches Negativ (Annahme) ein Betrüger

F1 ist großartig, aber es ist wirklich wichtig zu verstehen, wie der Test / die Vorhersage verwendet wird, da immer ein gewisses Risiko besteht, falsch zu liegen. Sie möchten wissen, wie schlimm die Konsequenzen sind, wenn sie falsch sind.

E-Mail-Spam-Erkennung : Dies ist eines der Beispiele, bei denen Präzision wichtiger ist als Rückruf .

Kurzzusammenfassung :

• Präzision : Dies sagt aus, wann Sie etwas Positives vorhersagen, wie oft es tatsächlich positiv war. wohingegen,

• Rückruf : Dies zeigt anhand der tatsächlichen positiven Daten an, wie oft Sie richtig vorausgesagt haben.

Im Falle der Erkennung von Spam-E-Mails sollte man in Ordnung sein, wenn eine Spam-E-Mail (positiver Fall) unentdeckt bleibt und nicht in den Spam-Ordner wechselt . Wenn eine E- Mail jedoch in Ordnung ist (negativer Fall), darf sie nicht in den Ordner wechseln Spam-Ordner. dh Precison ist wichtiger. (Wenn das Modell etwas Positives vorhersagt (z. B. Spam), ist es besser Spam. Anderenfalls verpassen Sie möglicherweise wichtige E-Mails.)

Hoffe es klärt sich.