Wie werden Fehlermaßnahmen interpretiert?

Ich führe die Klassifizierung in Weka für einen bestimmten Datensatz aus und habe festgestellt, dass bei der Vorhersage eines Nominalwerts die Ausgabe speziell die korrekten und falsch vorhergesagten Werte anzeigt. Jetzt lasse ich es jedoch für ein numerisches Attribut laufen und die Ausgabe ist:

Correlation coefficient                 0.3305
Mean absolute error                     11.6268
Root mean squared error                 46.8547
Relative absolute error                 89.2645 %
Root relative squared error             94.3886 %
Total Number of Instances               36441

Wie interpretiere ich das? Ich habe versucht, jeden Begriff zu googeln, aber ich verstehe nicht viel, da Statistik in meinem Fachgebiet überhaupt nicht vorhanden ist. Ich würde mich sehr über eine statistische Antwort vom Typ ELI5 freuen.

— FloIancu
quelle

Wir bezeichnen den wahren interessierenden Wert als und den Wert, der unter Verwendung eines Algorithmus geschätzt wird, als . $\theta$ $\hat{\theta}$

Die Korrelation gibt an, wie viel und zusammenhängen. Es gibt Werte zwischen und , wobei keine Beziehung ist, eine sehr starke, lineare Beziehung ist und eine inverse lineare Beziehung ist (dh größere Werte von geben kleinere Werte von oder umgekehrt) umgekehrt). Nachfolgend finden Sie ein illustriertes Beispiel für die Korrelation. $\theta$ $\hat{\theta}$ $-1$ $1$ $0$ $1$ $-1$ $\theta$ $\hat{\theta}$

Korrelationsbeispiel

(Quelle: http://www.mathsisfun.com/data/correlation.html )

Mittlerer absoluter Fehler ist:

M A E = \frac{1}{N} \sum_{i = 1}^{N} | {\hat{θ}}_{i} - θ_{i} |

$\mathrm{MAE} = \frac{1}{N} \sum^N_{i=1} | \hat{\theta}_i - \theta_i |$

Der quadratische Mittelwertfehler ist:

R M S E = \sqrt{\frac{1}{N} \sum_{i = 1}^{N} {({\hat{θ}}_{i} - θ_{i})}^{2}}

$\mathrm{RMSE} = \sqrt{ \frac{1}{N} \sum^N_{i=1} \left( \hat{\theta}_i - \theta_i \right)^2 }$

Relativer absoluter Fehler :

R A E = \frac{\sum_{i = 1}^{N} | {\hat{θ}}_{i} - θ_{i} |}{\sum_{i = 1}^{N} | \bar{θ} - θ_{i} |}

$\mathrm{ RAE} = \frac{ \sum^N_{i=1} | \hat{\theta}_i - \theta_i | } { \sum^N_{i=1} | \overline{\theta} - \theta_i | }$

Dabei ist ein Mittelwert von . $\overline{\theta}$ $\theta$

Quadratischer Fehler der relativen Wurzel:

R R S E = \sqrt{\frac{\sum_{i = 1}^{N} {({\hat{θ}}_{i} - θ_{i})}^{2}}{\sum_{i = 1}^{N} {(\bar{θ} - θ_{i})}^{2}}}

$\mathrm{ RRSE }= \sqrt{ \frac{ \sum^N_{i=1} \left( \hat{\theta}_i - \theta_i \right)^2 } { \sum^N_{i=1} \left( \overline{\theta} - \theta_i \right)^2 }}$

Wie Sie sehen, werden in allen Statistiken die wahren Werte mit ihren Schätzungen verglichen, jedoch auf etwas andere Weise. Sie alle geben an, wie weit Ihre geschätzten Werte vom wahren Wert von . Manchmal werden Quadratwurzeln und manchmal Absolutwerte verwendet. Dies liegt daran, dass bei Verwendung von Quadratwurzeln die Extremwerte einen größeren Einfluss auf das Ergebnis haben (siehe Warum die Differenz quadrieren, anstatt den Absolutwert in Standardabweichung zu verwenden? Oder Mathoverflow ). $\theta$

In und Sie sich einfach die "durchschnittliche Differenz" zwischen diesen beiden Werten an - Sie interpretieren sie also im Vergleich zur Skala Ihres Werts (dh von 1 Punkt ist a) Differenz von 1 Punkt von zwischen und . $\mathrm{ MAE}$ $\mathrm{ RMSE}$ $\mathrm{ MSE}$ $\theta$ $\hat{\theta}$ $\theta$

In und dividieren Sie diese Unterschiede durch die Variation von sodass sie eine Skala von 0 bis 1 haben. Wenn Sie diesen Wert mit 100 multiplizieren, erhalten Sie eine Ähnlichkeit in der Skala 0-100 (dh in Prozent) ). Die Werte von odersage dir, wie viel vom Mittelwert abweicht - also kannst du sagen, dass es darum geht, wie viel von sich selbst abweicht (vergleiche mit der Varianz ). Aus diesem Grund werden die Kennzahlen als "relativ" bezeichnet. Sie geben Ihnen ein Ergebnis, das sich auf die Skala von bezieht . $\mathrm{ RAE}$ $\mathrm{ RRSE}$ $\theta$ $\sum(\overline{\theta} - \theta_i)^2$ $\sum|\overline{\theta} - \theta_i|$ $\theta$ $\theta$ $\theta$

Überprüfen Sie auch diese Folien .

— Tim
quelle

Ich danke Ihnen für Ihre Erklärung! Ich versuche, die Leistung verschiedener Algorithmen zu bewerten. Wenn ich zum Beispiel diese andere Ausgabe erhalte (Korrelation: 0,3044, MAE: 10,832, MSE: 47,2971, RAE: 83,163%, RSE: 95,2797%), versuche ich, sie mit der ersten Ausgabe zu vergleichen, die ich als durchgeführt bezeichnen kann besser?

— FloIancu

Sie sollten das Modell mit größerer Korrelation und kleineren Fehlerschätzungen auswählen. Wie Sie sehen, gibt es mehrere Messgrößen für die Modellleistung (und dies sind nur wenige), und manchmal geben sie unterschiedliche Antworten. Es ist fast nie die "Ja / Nein" Art der Antwort, die Sie erhalten. Die Aufgabe der Modellauswahl wird einfacher, wenn Sie mit der Theorie vertraut sind. Sie können beispielsweise diese Vorlesungen überprüfen .

— Tim

Vielen Dank! Ich habe Ihre Antwort als Antwort markiert, weil Sie mir sehr geholfen haben!

— FloIancu

@ Tim Mean Absoluter Fehler sollte wahrscheinlich als MAE abgekürzt werden :)

— Antoine

@MewX Welche Art von Referenzen suchen Sie? Grundsätzlich handelt es sich um einen neu skalierten RMSE. Es gibt nicht viel zu sagen ...

— Tim