Warum sollte ein bestimmtes Maß für den Prognosefehler (z. B. MAD) im Gegensatz zu einem anderen (z. B. MSE) verwendet werden?

MAD = Mittlere absolute Abweichung MSE = Mittlerer quadratischer Fehler

Ich habe Vorschläge von verschiedenen Stellen gesehen, dass MSE trotz einiger unerwünschter Eigenschaften verwendet wird (z. B. http://www.stat.nus.edu.sg/~staxyc/T12.pdf , das auf Seite 8 heißt. "Es wird allgemein angenommen, dass MAD ist ein besseres Kriterium als MSE. Mathematisch ist MSE jedoch praktischer als MAD. ")

Gibt es mehr als das? Gibt es ein Dokument, das gründlich analysiert, in welchen Situationen verschiedene Methoden zur Messung von Prognosefehlern mehr oder weniger geeignet sind? Meine Google-Suche hat nichts ergeben.

Eine ähnliche Frage wurde unter /programming/13391376/how-to-decide-the-forecasting-method-from-the-me-mad-mse-sde gestellt , und der Benutzer wurde dazu aufgefordert poste auf stats.stackexchange.com, aber ich glaube nicht, dass sie es jemals getan haben.

Um zu entscheiden, welches Punktprognosefehlermaß verwendet werden soll, müssen wir einen Schritt zurückgehen. Beachten Sie, dass wir das zukünftige Ergebnis nicht genau kennen und es auch niemals wissen werden. Das zukünftige Ergebnis folgt also einer Wahrscheinlichkeitsverteilung . Einige Prognosemethoden geben eine solche vollständige Verteilung explizit aus, andere nicht - sie ist jedoch immer vorhanden, wenn auch nur implizit.

Jetzt wollen wir ein gutes Fehlermaß für eine Punktvorhersage haben . Eine solche Punktprognose ist unser Versuch, das, was wir über die zukünftige Verteilung (dh die prädiktive Verteilung) zum Zeitpunkt wissen, unter Verwendung einer einzigen Zahl, einem sogenannten Funktional der zukünftigen Dichte, zusammenzufassen. Das Fehlermaß ist dann eine Möglichkeit, die Qualität dieser einzelnen Zahlenzusammenfassung zu bewerten.$F_t$$t$

Wählen Sie daher ein Fehlermaß, das "gute" Zusammenfassungen (unbekannter, möglicherweise prognostizierter, möglicherweise aber nur impliziter) zukünftiger Dichten liefert.

Die Herausforderung besteht darin, dass unterschiedliche Fehlermaßnahmen durch unterschiedliche Funktionen minimiert werden. Der erwartete MSE wird durch den erwarteten Wert der zukünftigen Ausschüttung minimiert . Die erwartete MAD wird durch den Median der zukünftigen Verteilung minimiert . Wenn Sie also Ihre Prognosen kalibrieren, um die MAE zu minimieren, ist Ihre Punktprognose der zukünftige Median und nicht der zukünftige Erwartungswert, und Ihre Prognosen sind voreingenommen, wenn Ihre zukünftige Verteilung nicht symmetrisch ist.

Dies ist am relevantesten für Zähldaten, die normalerweise schief sind. In extremen Fällen (z. B. bei Poisson-Umsätzen mit einem Mittelwert unter ) ist Ihr MAE für eine Prognose von Null niedrig. Sehen Sie hier oder hier oder hier für Details.$\log 2\approx 0.69$

Ich gebe einige weitere Informationen und eine Illustration in Was sind die Mängel des Mean Absolute Percentage Error (MAPE)? Dieser Thread berücksichtigt die Map , aber auch andere Fehlermaßnahmen und enthält Links zu anderen verwandten Threads.

Welches Fehlermaß tatsächlich verwendet wird, hängt letztendlich von Ihren Prognosekosten ab, dh von der Art des Fehlers, der am schmerzhaftesten ist. Ohne die tatsächlichen Auswirkungen von Prognosefehlern zu betrachten, ist jede Diskussion über "bessere Kriterien" im Grunde bedeutungslos.

Vor einigen Jahren waren Messungen der Prognosegenauigkeit ein großes Thema in der Prognosegemeinschaft, und sie tauchen immer noch ab und zu auf. Ein sehr guter Artikel ist Hyndman & Koehler "Ein weiterer Blick auf Messungen der Prognosegenauigkeit" (2006).

Schließlich besteht eine Alternative darin, die vollständigen Vorhersagedichten zu berechnen und diese unter Verwendung geeigneter Bewertungsregeln zu bewerten .

Die Vorteile der Verwendung von MAE anstelle von MSE werden in Davydenko und Fildes (2016) erläutert , siehe Abschnitt 3.1:

... Einige Autoren (zB Zellner, 1986) argumentieren, dass das Kriterium, nach dem wir Prognosen auswerten, dem Kriterium entsprechen sollte, nach dem wir Prognosen optimieren. Mit anderen Worten, wenn wir Schätzungen unter Verwendung einer bestimmten Verlustfunktion optimieren, müssen wir dieselbe Verlustfunktion für die empirische Bewertung verwenden, um herauszufinden, welches Modell besser ist.

Das Anpassen eines statistischen Modells liefert normalerweise optimale Vorhersagen bei quadratischem Verlust. Dies geschieht beispielsweise, wenn wir eine lineare Regression anpassen. Wenn unsere Dichtevorhersage aus der statistischen Modellierung symmetrisch ist, sind die unter quadratischem Verlust optimalen Vorhersagen auch unter linearem Verlust optimal. Wenn wir jedoch die Varianz durch logarithmische Transformationen stabilisieren und dann Prognosen durch Exponentiation zurücktransformieren, erhalten wir Prognosen, die nur unter linearem Verlust optimal sind. Wenn wir einen anderen Verlust verwenden, müssen wir zuerst die Dichtevorhersage unter Verwendung eines statistischen Modells erhalten und dann unsere Schätzung angesichts unserer spezifischen Verlustfunktion anpassen (siehe Beispiele dafür in Goodwin, 2000).

Nehmen wir an, wir möchten zwei Methoden empirisch vergleichen und herausfinden, welche Methode im Hinblick auf einen symmetrischen linearen Verlust besser ist (da diese Art von Verlust üblicherweise bei der Modellierung verwendet wird). Wenn wir nur eine Zeitreihe haben, scheint es natürlich, einen mittleren absoluten Fehler (MAE) zu verwenden. MAE ist auch attraktiv, da es einfach zu verstehen und zu berechnen ist (Hyndman, 2006) ...

Verweise

Davydenko, A. & Fildes, R. (2016). Prognosefehlermaßnahmen: Kritische Überprüfung und praktische Empfehlungen. In Business Forecasting: Praktische Probleme und Lösungen. John Wiley & Söhne

$RMSE = \sqrt{MSE}$$MAE = MAD$

Tatsächlich,

$MAE \leq RMSE \leq \sqrt{n} MAE$

• $e$
  $RMSE = \sqrt{\frac{1}{n} \sum e_i^2} = \sqrt{\frac{1}{n} n e^2} = e = MAE$
• $e$
  $MAE = \frac{e}{n}$
  $RMSE = \sqrt{\frac{1}{n} \sum e_i^2} = \sqrt{\frac{1}{n} e^2} = \sqrt{\frac{1}{n} (n MAE)^2} = \sqrt{n} MAE$

$MAE \leq RMSE \leq \sqrt{MAE}$$y_i$$\hat y_i$$\in [0, 1]$

• $e_i$$\leq 1$
  $MAE = \frac{n_{wrong}}{n}$
  $RMSE = \sqrt{\frac{1}{n} \sum e_i^2} = \sqrt{\frac{1}{n} n_{wrong}} = \sqrt{MAE}$
  $n_{wrong}$$e_i \in [0, 1]$$e_i < 1$

Wenn der RMSE nahe am MAE liegt, gibt es viele kleine Abweichungen. Wenn er nahe an der Obergrenze liegt, gibt es nur wenige grob falsche Vorhersagen.