Warum definiert f Beta Score Beta so?

10

Dies ist der F-Beta-Score:

F_{β} = (1 + β^{2}) \cdot \frac{p r e c i s i o n \cdot r e c a l l}{(β^{2} \cdot p r e c i s i o n) + r e c a l l}

$F_\beta = (1 + \beta^2) \cdot \frac{\mathrm{precision} \cdot \mathrm{recall}}{(\beta^2 \cdot \mathrm{precision}) + \mathrm{recall}}$

Der Wikipedia-Artikel besagt, dass . $F_\beta$ "measures the effectiveness of retrieval with respect to a user who attaches β times as much importance to recall as precision"

Ich habe die Idee nicht bekommen. Warum so definieren ? Kann ich definieren : $\beta$ $F_\beta$

F_{β} = (1 + β) \cdot \frac{p r e c i s i o n \cdot r e c a l l}{(β \cdot p r e c i s i o n) + r e c a l l}

$F_\beta = (1 + \beta) \cdot \frac{\mathrm{precision} \cdot \mathrm{recall}}{(\beta \cdot \mathrm{precision}) + \mathrm{recall}}$

Und wie soll man zeigen β times as much importance?

machine-learning precision-recall model-evaluation

— aufgeräumt
quelle

2

Schauen Sie sich unten eine neuere Antwort an, die die Differentialrechnung enthält, die sich mit "Warum Beta im Quadrat und nicht Beta" befasst.

— Javadba

18

Wenn das Gewicht in der ersten von Ihnen angegebenen Definition und das Gewicht in der zweiten Definition ist, sind die beiden Definitionen äquivalent, wenn Sie festlegen , sodass diese beiden Definitionen nur Unterschiede in der Schreibweise darstellen die Definition des Scores. Ich habe gesehen, dass es sowohl den ersten Weg (z. B. auf der Wikipedia-Seite ) als auch den zweiten (z . B. hier ) definiert hat. $\beta$ $\tilde\beta$ $\tilde\beta = \beta^2$ $F_\beta$

Das Maß wird erhalten, indem das harmonische Mittel der Präzision und des Rückrufs genommen wird, nämlich der Kehrwert des Durchschnitts des Kehrwerts der Präzision und des Kehrwerts des Rückrufs: $F_1$

\begin{aligned} F_{1} & = \frac{1}{\frac{1}{2} \frac{1}{precision} + \frac{1}{2} \frac{1}{recall}} \\ = 2 \frac{precision \cdot recall}{precision + recall} \end{aligned}

$\begin{align*} F_1 &= \frac{1}{\frac{1}{2}\frac{1}{\text{precision}}+\frac{1}{2}\frac{1}{\text{recall}}} \\ &= 2\frac{\text{precision}\cdot\text{recall}}{\text{precision}+\text{recall}} \end{align*}$

Anstatt Gewichte im Nenner zu verwenden, die gleich sind und sich zu 1 summieren ( für den Rückruf und für die Genauigkeit), können wir stattdessen Gewichte zuweisen, die sich immer noch zu 1 summieren, aber für Das Gewicht beim Rückruf ist mal so groß wie das Gewicht bei der Genauigkeit ( für den Rückruf und für die Genauigkeit). Dies ergibt Ihre zweite Definition des Scores: $\frac{1}{2}$ $\frac{1}{2}$ $\beta$ $\frac{\beta}{\beta+1}$ $\frac{1}{\beta+1}$ $F_\beta$

\begin{aligned} F_{β} & = \frac{1}{\frac{1}{β + 1} \frac{1}{precision} + \frac{β}{β + 1} \frac{1}{recall}} \\ = (1 + β) \frac{precision \cdot recall}{β \cdot precision + recall} \end{aligned}

$\begin{align*} F_\beta &= \frac{1}{\frac{1}{\beta+1}\frac{1}{\text{precision}}+\frac{\beta}{\beta+1}\frac{1}{\text{recall}}} \\ &= (1+\beta)\frac{\text{precision}\cdot\text{recall}}{\beta\cdot\text{precision}+\text{recall}} \end{align*}$

Wenn wir hier anstelle von , wären wir zu Ihrer ersten Definition gelangt, sodass die Unterschiede zwischen den beiden Definitionen nur eine Schreibweise sind. $\beta^2$ $\beta$

— Josliber
quelle

1

Warum multiplizierten sie mit dem Präzisionsbegriff anstelle des Rückrufbegriffs?

β

$\beta$

— Anwarvic

1

Die Differentialrechnung, die sich mit "Warum Beta im Quadrat und nicht Beta" befasst, ist in einer neueren Antwort unten enthalten.

— Javadba

@Anwarvic Sie multiplizierten mit dem inversen Rückruf. Nach dem Ausklammern und dem Erweitern mit ist noch ein Begriff übrig

β

$\beta$

(1 + β)

$(1+ \beta)$

precision \cdot recall

$\text{precision} \cdot \text{recall}$

β \cdot precision

$\beta \cdot \text{precision}$

— user2740

5

Der Grund für die Definition des F-Beta-Scores mit ist genau das von Ihnen angegebene Zitat (dh Sie möchten Zeiten so wichtig wie die Genauigkeit beim Abrufen anhängen ), wenn Sie eine bestimmte Definition für das Anhängen von angeben mal so wichtig wie Präzision. $\beta^{2}$ $\beta$ $\beta$

Die besondere Art und Weise, die relative Bedeutung der beiden Metriken zu definieren, die zur -Formulierung führt, findet sich in Information Retrieval (Van Rijsbergen, 1979): $\beta^{2}$

Definition: Die relative Bedeutung, die ein Benutzer der Präzision und dem Abruf beimisst, ist das Verhältnis, bei dem , wobei ist das Maß für die Wirksamkeit basierend auf Präzision und Rückruf. $P/R$ $\partial{E}/ \partial{R} = \partial{E}/ \partial{P}$ $E = E(P, R)$

Die Motivation für dieses Wesen:

Der einfachste Weg, dies zu quantifizieren, besteht darin, das Verhältnis anzugeben, bei dem der Benutzer bereit ist, ein Präzisionsinkrement gegen einen gleichen Rückrufverlust einzutauschen. $P/R$

Um zu sehen, dass dies zur -Formulierung führt, können wir mit der allgemeinen Formel für das gewichtete harmonische Mittel von und und ihre partiellen Ableitungen in Bezug auf und berechnen . Die zitierte Quelle verwendet (für "Effektivitätsmaß"), das nur und die Erklärung ist äquivalent, ob wir oder . $\beta^{2}$ $P$ $R$ $P$ $R$ $E$ $1-F$ $E$ $F$

F = \frac{1}{(\frac{α}{P} + \frac{1 - α}{R})}

$\begin{equation} F = \frac{1}{(\frac{\alpha}{P}+ \frac{1-\alpha}{R})} \end{equation}$

\partial F / \partial P = \frac{α}{(\frac{α}{P} + \frac{1 - α}{R})^{2} P^{2}}

$\begin{equation} \partial{F}/\partial{P} = \frac{\alpha}{(\frac{\alpha}{P}+ \frac{1-\alpha}{R})^{2}P^{2}} \end{equation}$

\partial F / \partial R = \frac{1 - α}{(\frac{α}{P} + \frac{1 - α}{R})^{2} R^{2}}

$\begin{equation} \partial{F}/\partial{R} = \frac{1-\alpha}{(\frac{\alpha}{P}+ \frac{1-\alpha}{R})^{2}R^{2}} \end{equation}$

Wenn Sie nun die Ableitungen gleich setzen, wird die Beziehung zwischen und dem Verhältnis . Angesichts der Tatsache, dass wir Zeiten so wichtig wie die Genauigkeit der Erinnerung beimessen möchten, werden wir das Verhältnis¹ berücksichtigen : $\alpha$ $P/R$ $\beta$ $R/P$

\partial F / \partial P = \partial F / \partial R \to \frac{α}{P^{2}} = \frac{1 - α}{R^{2}} \to \frac{R}{P} = \sqrt{\frac{1 - α}{α}}

$\begin{equation} \partial{F}/\partial{P} = \partial{F}/\partial{R} \rightarrow \frac{\alpha}{P^{2}} = \frac{1-\alpha}{R^{2}} \rightarrow \frac{R}{P} = \sqrt{\frac{1-\alpha}{\alpha}} \end{equation}$

Wenn Sie als dieses Verhältnis definieren und für neu anordnen, erhalten Sie die Gewichtung in Bezug auf : $\beta$ $\alpha$ $\beta^{2}$

β = \sqrt{\frac{1 - α}{α}} \to β^{2} = \frac{1 - α}{α} \to β^{2} + 1 = \frac{1}{α} \to α = \frac{1}{β^{2} + 1}

$\begin{equation} \beta = \sqrt{\frac{1-\alpha}{\alpha}} \rightarrow \beta^{2} = \frac{1-\alpha}{\alpha} \rightarrow \beta^{2} + 1 = \frac{1}{\alpha} \rightarrow \alpha = \frac{1}{\beta^{2} + 1} \end{equation}$

1 - α = 1 - \frac{1}{β^{2} + 1} \to \frac{β^{2}}{β^{2} + 1}

$\begin{equation} 1 - \alpha = 1 - \frac{1}{\beta^{2} + 1} \rightarrow \frac{\beta^{2}}{\beta^{2} + 1} \end{equation}$

Wir erhalten:

F = \frac{1}{(\frac{1}{β^{2} + 1} \frac{1}{P} + \frac{β^{2}}{β^{2} + 1} \frac{1}{R})}

$\begin{equation} F = \frac{1}{(\frac{1}{\beta^{2} + 1}\frac{1}{P} + \frac{\beta^{2}}{\beta^{2} + 1}\frac{1}{R})} \end{equation}$

Welches kann neu angeordnet werden, um das Formular in Ihrer Frage zu geben.

In Anbetracht der zitierten Definition sollte daher die Formulierung verwendet werden , wenn Sie Zeiten so viel Bedeutung beim Abrufen wie Präzision beimessen möchten . Diese Interpretation gilt nicht, wenn man . Die äquivalente, weniger intuitive Interpretation für den Fall, dass wir nur wäre, dass wir mal so viel Bedeutung beim Abrufen wie Präzision beimessen möchten . $\beta$ $\beta^{2}$ $\beta$ $\beta$ $\sqrt{\beta}$

Sie können eine Punktzahl definieren, wie Sie vorschlagen. Sie sollten sich jedoch bewusst sein, dass in diesem Fall entweder die besprochene Interpretation nicht mehr gilt oder Sie eine andere Definition für die Quantifizierung des Kompromisses zwischen Präzision und Rückruf implizieren.

Fußnoten:

$P/R$ wird beim Abrufen von Informationen verwendet , dies scheint jedoch ein Tippfehler zu sein, siehe Die Wahrheit des F-Maßes (Saski, 2007).

Verweise:

— Eine Person
quelle

1

Dies sollte die akzeptierte Antwort sein.

— Javadba

3

Um schnell auf etwas hinzuweisen.

Dies bedeutet, dass Sie mit zunehmendem Beta-Wert mehr Wert auf Präzision legen.

Ich denke tatsächlich, dass es das Gegenteil ist - da höher in der F-β-Wertung besser ist, möchten Sie, dass der Nenner klein ist. Wenn Sie daher β verringern, wird das Modell weniger für eine gute Genauigkeit bestraft. Wenn Sie β erhöhen, wird der F-β-Score bei hoher Präzision stärker bestraft.

Wenn Sie die F-β-Bewertung so gewichten möchten, dass sie die Genauigkeit bewertet, sollte β 0 <β <1 sein, wobei β-> 0 nur die Genauigkeit bewertet (der Zähler wird sehr klein, und das einzige, was im Nenner steht, ist das Abrufen). daher nimmt der F-β-Wert mit zunehmendem Rückruf ab).

http://scikit-learn.org/stable/modules/generated/sklearn.metrics.fbeta_score.html

— H Froedge
quelle

0

Der Grund, warum β ^ 2 mit Präzision multipliziert wird, ist genau die Art und Weise, wie F-Scores definiert werden. Dies bedeutet, dass Sie mit zunehmendem Beta-Wert mehr Wert auf Präzision legen. Wenn Sie es mit einem Rückruf multiplizieren möchten, der auch funktionieren würde, würde dies nur bedeuten, dass Sie mit zunehmendem Beta-Wert mehr Wert auf Rückruf legen.

— Mahmoud
quelle

0

Der Beta-Wert größer als 1 bedeutet, dass unser Modell dem Modellrückruf im Vergleich zu Precision mehr Aufmerksamkeit schenken soll. Andererseits legt ein Wert von weniger als 1 mehr Wert auf Präzision.

— Mohit Sharma
quelle