Was sind die Mängel des Mean Absolute Percentage Error (MAPE)?

Der mittlere absolute prozentuale Fehler ( Mape ) ist ein gängiges Genauigkeits- oder Fehlermaß für Zeitreihen oder andere Vorhersagen.

Dabei sind Istwerte und F t entsprechende Vorhersagen oder Vorhersagen.$A_t$$F_t$

Die MAPE ist ein Prozentsatz, sodass wir sie leicht zwischen Serien vergleichen können und die Leute Prozentsätze leicht verstehen und interpretieren können.

Ich höre jedoch, dass die MAPE Nachteile hat. Ich möchte diese Nachteile besser verstehen, damit ich eine fundierte Entscheidung treffen kann, ob ich die MAPE oder eine Alternative wie die MSE ( mse ), die MAE ( mae ) oder die MASE ( mase ) verwenden möchte .

Mängel der MAPE

• Die MAPE in Prozent ist nur für Werte sinnvoll, bei denen Unterteilungen und Verhältnisse sinnvoll sind. Es ist beispielsweise nicht sinnvoll, Prozentsätze von Temperaturen zu berechnen, daher sollten Sie die MAPE nicht verwenden, um die Genauigkeit einer Temperaturvorhersage zu berechnen.

• Wenn nur ein einzelnes Ist Null ist, ist $A_t=0$ , dann dividieren Sie durch Null bei der Berechnung der MAPE, die nicht definiert ist.

  Es stellt sich heraus, dass einige Prognosesoftware dennoch eine MAPE für solche Serien meldet, indem sie einfach Perioden mit Null-Istwerten fallen lässt ( Hoover, 2006 ). Unnötig zu sagen, dies ist nicht eine gute Idee, da es bedeutet , dass wir nicht alles über egal was wir prognostiziert , wenn die tatsächliche Null war - aber eine Prognose von $F_t=100$ und ein von $F_t=1000$ kann sehr haben verschiedene Implikationen. Überprüfen Sie also, was Ihre Software tut.

  Wenn nur wenige Nullen vorkommen, können Sie eine gewichtete MAPE ( Kolassa & Schütz, 2007 ) verwenden, die dennoch eigene Probleme hat. Dies gilt auch für die symmetrische MAPE ( Goodwin & Lawton, 1999 ).

• MAPEs können zu mehr als 100% auftreten. Wenn Sie es vorziehen, mit Genauigkeit zu arbeiten, die einige Leute als 100% -MAPE definieren, kann dies zu einer negativen Genauigkeit führen, die die Leute möglicherweise nur schwer verstehen können. ( Nein, die Genauigkeit bei Null abzuschneiden ist keine gute Idee. )

• Wenn wir streng positive Daten haben, die wir prognostizieren möchten (und darüber ist die MAPE ansonsten nicht sinnvoll), werden wir niemals unter Null prognostizieren. Die MAPE behandelt Overforecasts leider anders als Underforecasts: Ein Underforecast trägt niemals mehr als 100% bei (z. B. wenn $F_t=0$ und $A_t=1$ ), aber der Beitrag eines Overforecasts ist unbegrenzt (z. B. wenn $F_t=5$ und $A_t=1$ ). Dies bedeutet, dass der MAPE für voreingenommene Prognosen niedriger sein kann als für unvoreingenommene Prognosen. Eine Minimierung kann zu Vorhersagen führen, die niedrig sind.

Vor allem der letzte Punkt verdient ein wenig mehr Nachdenken. Dafür müssen wir einen Schritt zurücktreten.

Beachten Sie zunächst, dass wir das zukünftige Ergebnis weder genau kennen noch jemals kennen werden. Das zukünftige Ergebnis folgt also einer Wahrscheinlichkeitsverteilung. Unsere sogenannte Punktvorhersage $F_t$ ist unser Versuch, das, was wir über die zukünftige Verteilung (dh die prädiktive Verteilung ) zum Zeitpunkt $t$ wissen, unter Verwendung einer einzigen Zahl zusammenzufassen. Die MAPE ist dann ein Qualitätsmaß für eine ganze Folge solcher Einzahlenzusammenfassungen zukünftiger Verteilungen zu den Zeitpunkten $t=1, \dots, n$ .

Das Problem dabei ist, dass die Leute selten explizit sagen, was eine gute Ein-Zahlen-Zusammenfassung einer zukünftigen Distribution ist.

$F_t$$F_t$

Hier ist das Problem: Das Minimieren der MAPE wird uns normalerweise nicht dazu anregen, diese Erwartung auszugeben, sondern eine ganz andere One-Number-Summary ( McKenzie, 2011 , Kolassa, 2020 ). Dies geschieht aus zwei verschiedenen Gründen.

• $(\mu=1,\sigma^2=1)$

  

  Die horizontalen Linien geben die optimalen Punktvorhersagen an, wobei "Optimalität" als Minimierung des erwarteten Fehlers für verschiedene Fehlermaßnahmen definiert ist.

  • $F_t=\exp(\mu+\frac{\sigma^2}{2})\approx 4.5$
  • $F_t=\exp\mu\approx 2.7$
  • $F_t=\exp(\mu-\sigma^2)=1.0$$\beta=-1$

  Wir sehen, dass die Asymmetrie der zukünftigen Verteilung zusammen mit der Tatsache, dass der MAPE Über- und Unterprognosen unterschiedlich bestraft, impliziert, dass die Minimierung des MAPE zu stark voreingenommenen Prognosen führen wird. ( Hier ist die Berechnung der optimalen Punktvorhersagen im Gammafall. )

• $A_t$$t$

  

  In diesem Fall:

  • $F_t=3.5$

  • $3\leq F_t\leq 4$

  • $F_t=2$

  Wir sehen erneut, wie die Minimierung des MAPE aufgrund der unterschiedlichen Strafen für Über- und Unterprognosen zu einer verzerrten Prognose führen kann. In diesem Fall beruht das Problem nicht auf einer asymmetrischen Verteilung, sondern auf dem hohen Variationskoeffizienten unseres Datenerzeugungsprozesses.

  Dies ist eine einfache Illustration, die Sie verwenden können, um die Leute über die Mängel der MAPE zu unterrichten. Geben Sie Ihren Teilnehmern nur ein paar Würfel und lassen Sie sie rollen. Siehe Kolassa & Martin (2011) für weitere Informationen.

Verwandte CrossValidated-Fragen

• Der Unterschied zwischen MSE und MAPE
• Der beste Weg, MAPE zu optimieren
• Minimierung des symmetrischen mittleren absoluten prozentualen Fehlers (SMAPE)
• MAPE vs R-Quadrat in Regressionsmodellen
• Warum sollte ein bestimmtes Maß für den Prognosefehler (z. B. MAD) im Gegensatz zu einem anderen (z. B. MSE) verwendet werden?

R-Code

Lognormales Beispiel:

mm <- 1
ss.sq <- 1
SAPMediumGray <- "#999999"; SAPGold <- "#F0AB00"

set.seed(2013)
actuals <- rlnorm(100,meanlog=mm,sdlog=sqrt(ss.sq))

opar <- par(mar=c(3,2,0,0)+.1)
    plot(actuals,type="o",pch=21,cex=0.8,bg="black",xlab="",ylab="",xlim=c(0,150))
    abline(v=101,col=SAPMediumGray)

    xx <- seq(0,max(actuals),by=.1)
    polygon(c(101+150*dlnorm(xx,meanlog=mm,sdlog=sqrt(ss.sq)),
      rep(101,length(xx))),c(xx,rev(xx)),col="lightgray",border=NA)

    (min.Ese <- exp(mm+ss.sq/2))
    lines(c(101,150),rep(min.Ese,2),col=SAPGold,lwd=3,lty=2)

    (min.Eae <- exp(mm))
    lines(c(101,150),rep(min.Eae,2),col=SAPGold,lwd=3,lty=3)

    (min.Eape <- exp(mm-ss.sq))
    lines(c(101,150),rep(min.Eape,2),col=SAPGold,lwd=3,lty=4)
par(opar)

Beispiel für das Würfeln:

SAPMediumGray <- "#999999"; SAPGold <- "#F0AB00"

set.seed(2013)
actuals <- sample(x=1:6,size=100,replace=TRUE)

opar <- par(mar=c(3,2,0,0)+.1)
    plot(actuals,type="o",pch=21,cex=0.8,bg="black",xlab="",ylab="",xlim=c(0,150))
    abline(v=101,col=SAPMediumGray)

    min.Ese <- 3.5
    lines(c(101,150),rep(min.Ese,2),col=SAPGold,lwd=3,lty=2)

    min.Eape <- 2
    lines(c(101,150),rep(min.Eape,2),col=SAPGold,lwd=3,lty=4)
par(opar)

Verweise

Gneiting, T. Punktprognosen erstellen und auswerten . Journal of the American Statistical Association , 2011, 106, 746-762

Goodwin, P. & Lawton, R. Zur Asymmetrie der symmetrischen MAPE . International Journal of Forecasting , 1999, 15, 405-408

Hoover, J. Prognosegenauigkeit messen: Auslassungen in den heutigen Prognosemodulen und in der Software für die Bedarfsplanung . Vorausschau: The International Journal of Applied Forecasting , 2006, 4, 32-35

Kolassa, S. Warum die "beste" Punktvorhersage vom Fehler- oder Genauigkeitsmaß abhängt (Eingeladener Kommentar zum M4-Prognosewettbewerb). International Journal of Forecasting , 2020, 36 (1), 208-211

Kolassa, S. & Martin, R. Prozentuale Fehler können Ihren Tag ruinieren (und das Würfeln zeigt, wie) . Vorausschau: The International Journal of Applied Forecasting, 2011, 23, 21-29

Kolassa, S. & Schütz, W. Vorteile des MAD / Mean-Verhältnisses gegenüber der MAPE . Vorausschau: The International Journal of Applied Forecasting , 2007, 6, 40-43

McKenzie, J. Mittlerer absoluter prozentualer Fehler und Verzerrung der Wirtschaftsprognosen . Economics Letters , 2011, 113, 259 & ndash; 262