Ist es ungewöhnlich, dass die MEAN ARIMA übertrifft?


37

Ich habe kürzlich eine Reihe von Prognosemethoden (MEAN, RWF, ETS, ARIMA und MLPs) angewendet und festgestellt, dass MEAN überraschend gut abschneidet. (BEDEUTUNG: Alle zukünftigen Vorhersagen werden als gleich dem arithmetischen Mittel der beobachteten Werte vorausgesagt.) BEDEUTUNG übertraf ARIMA bei den drei von mir verwendeten Serien sogar.

Ich möchte wissen, ob dies ungewöhnlich ist. Bedeutet das, dass die von mir verwendeten Zeitreihen seltsam sind? Oder bedeutet dies, dass ich etwas falsch eingestellt habe?



@Mehrdad könnte man auf jeden Fall eine schöne Antwort rund um Martingales basteln.
Shadowtalker

1
Bei einfachen Methoden ist es durchaus üblich, dass sie eine gute Leistung erbringen, insbesondere wenn sie außerhalb der Stichprobe liegen (wo es darauf ankommt). Dieser Effekt verstärkt sich bei kurzen Serien. Wenn es nicht viel serielle Korrelation oder Tendenz gibt, würden wir erwarten, dass der Mittelwert auch bei relativ langen Serien sehr gut abschneidet.
Glen_b

Antworten:


31

Ich bin ein Praktiker, Produzent und Anwender von Prognosen und KEIN ausgebildeter Statistiker. Im Folgenden teile ich einige meiner Gedanken darüber, warum Ihre Durchschnittsprognose besser als die von ARIMA ausgefallen ist, indem ich mich auf einen Forschungsartikel beziehe, der auf empirischen Nachweisen beruht. Ein Buch, auf das ich immer wieder zurückgreife, ist das Principles of Forecasting- Buch von Armstrong und seine Website, die ich als ausgezeichnete Lektüre für jeden Prognostiker empfehlen würde.

Zur Beantwortung Ihrer ersten Frage : Was ich wissen möchte, ist, wenn dies ungewöhnlich ist?

Es gibt ein Kapitel namens Extrapolation für Zeitreihen- und Querschnittsdaten, das ebenfalls kostenlos auf derselben Website verfügbar ist . Das Folgende ist das Zitat aus dem Kapitel

"Zum Beispiel erwies sich Box-Jenkins im M2-Wettbewerb in Echtzeit, der 29 Monatsreihen untersuchte, als eine der am wenigsten genauen Methoden, und sein Medianfehler war insgesamt 17% höher als der einer naiven Prognose."

Es gibt empirische Belege dafür, warum Ihre Durchschnittsprognosen besser waren als ARIMA-Modelle.

Es gibt auch Studien nach Studien in empirischen Wettbewerben und der dritte M3-Wettbewerb , der zeigt, dass der Box-Jenkins-ARIMA-Ansatz keine genauen Vorhersagen liefert und keine Belege dafür liefert, dass er bei univariater Trendextrapolation besser abschneidet.

Es gibt auch ein weiteres Papier und eine laufende Studie von Greene und Armstrong mit dem Titel " Einfache Prognose: Vermeiden Sie Tränen vor dem Zubettgehen " auf derselben Website. Die Autoren der Arbeit fassen Folgendes zusammen:

Insgesamt identifizierten wir 29 Artikel, in denen 94 formale Vergleiche der Genauigkeit von Vorhersagen komplexer Methoden mit denen einfacher, aber nicht in allen Fällen sehr einfacher Methoden vorgenommen wurden. Dreiundachtzig Prozent der Vergleiche ergaben, dass die Vorhersagen von einfachen Methoden genauer oder ähnlich genau waren wie die von komplexen Methoden. Im Durchschnitt waren die Fehler von Vorhersagen aus komplexen Methoden um 32 Prozent höher als die Fehler von Vorhersagen aus einfachen Methoden in den 21 Studien, die Fehlervergleiche liefern

Zur Beantwortung Ihrer dritten Frage : Bedeutet dies, dass ich etwas falsch eingestellt habe? Nein, ich würde ARIMA als komplexe Methode und Mean Forecast als einfache Methode betrachten. Es gibt zahlreiche Belege dafür, dass einfache Methoden wie Mean Forecast komplexe Methoden wie ARIMA übertreffen.

Um Ihre zweite Frage zu beantworten : Bedeutet das, dass die von mir verwendeten Zeitreihen seltsam sind?

Im Folgenden sind einige Beispiele aufgeführt, die ich als Experten für Prognosen in der realen Welt betrachtete:

  • Makridakis (Pionierter empirischer Prognosewettbewerb mit den Bezeichnungen M, M2 und M3 und Wegbereiter für evidenzbasierte Prognosemethoden)
  • Armstrong (Bietet wertvolle Erkenntnisse in Form von Büchern / Artikeln zur Prognosepraxis)
  • Gardner (erfundene exponentielle Glättung des gedämpften Trends, eine weitere einfache Methode, die im Vergleich zu ARIMA überraschend gut funktioniert)

Alle oben genannten Forscher befürworten Einfachheit (Methoden wie Ihre Durchschnittsprognose) im Vergleich zu komplexen Methoden wie ARIMA. Sie sollten sich also sicher sein, dass Ihre Vorhersagen gut sind und auf der Grundlage empirischer Erkenntnisse immer die Einfachheit der Komplexität vorziehen. Diese Forscher haben alle einen großen Beitrag zur angewandten Vorhersage geleistet.

Neben Stephans guter Liste einfacher Prognosemethoden. Es gibt auch eine andere Methode namens Theta-Prognosemethode, die eine sehr einfache Methode ist (im Grunde genommen einfaches exponentielles Glätten mit einer Drift, die 1/2 der Steigung der linearen Regression entspricht). Ich würde dies zu Ihrer Toolbox hinzufügen. Forecast package in Rimplementiert diese Methode.


2
Ich mag die Perspektive, die Sie auf Prognosen geben, und die Beweise, die Sie dafür vorlegen, sehr, aber Elemente dieser Antwort sind zu beanstanden, weil sie zu viel wie eine Schimpfworte gegen "Statistiker" oder vielleicht gegen formelles statistisches Training lesen - und absolut falsch sind . Zum Beispiel sind Makridakis fortgeschrittene Abschlüsse in der Statistik , das lehrt er und das tut er auch.
whuber

1
Verstanden, ich werde es entfernen. Ich habe versucht, darauf hinzuweisen, dass wesentliche Fortschritte bei evidenzbasierten Methoden von Nicht-Statistikern stammen. Aber ich sehe Ihren Standpunkt, dass es so rüberkommen könnte
Prognose

Geschehen Auch war Makridakis PHD in Management Information Systems nach diesem Interview veröffentlicht
forecaster

FWIW, seine LinkedIn-Seite, die er pflegt, listet beide Doktoranden in der Statistik auf. Aber das Argument ist sinnlos: Die Behauptung, dass jemand kein Statistiker ist, weil sein Abschluss möglicherweise nicht spezifisch in Statistik ist, hat wenig Wert und ist hier nebensächlich. (Bis vor kurzem hatten die meisten Personen mit statistischer Laufbahn Abschlüsse in anderen Bereichen, da nur wenige Statistikprogramme zur Verfügung standen.)
whuber

2
+1. Sie schreiben jedoch: "Es gibt empirische Belege dafür, warum Ihre Durchschnittsprognosen besser waren als die von ARIMA-Modellen." - nein, dies sagt uns nur, dass der Mittelwert (in diesem speziellen Fall) besser war, nicht warum . Ich würde das Argument umkehren und die Beweislast auf ARIMA und andere Modelle legen. Ich habe nie ganz verstanden, warum sich der Datenerzeugungsprozess um frühere Fehler in meinem Modell kümmern sollte, was MA im Wesentlichen als Modell bezeichnet. Mein persönlicher Verdacht ist, dass ARIMA so beliebt ist, weil man Dinge wie Einheitenwurzeln und Stationarität beweisen kann - nicht, weil es gut prognostiziert.
S. Kolassa - Wiedereinsetzung von Monica

36

Das ist überhaupt nicht überraschend . In der Prognose finden Sie sehr oft, dass extrem einfache Methoden, wie

  • der Gesamtmittelwert
  • der naive Zufallsrundgang (dh die letzte als Prognose verwendete Beobachtung)
  • eine saisonale zufällige Wanderung (dh die Beobachtung von einem Jahr zurück)
  • Einzelne exponentielle Glättung

komplexere Methoden übertreffen. Aus diesem Grund sollten Sie Ihre Methoden immer anhand dieser sehr einfachen Benchmarks testen.

Ein Zitat von George Athanosopoulos und Rob Hyndman (die Experten auf dem Gebiet sind):

Einige Prognosemethoden sind sehr einfach und überraschend effektiv.

Beachten Sie, wie sie ausdrücklich sagen, dass sie einige sehr einfache Methoden als Benchmarks verwenden werden.

In der Tat ist ihr ganzes kostenloses offenes Online-Lehrbuch über Prognosen sehr zu empfehlen.

BEARBEITEN: Eine der besser akzeptierten Prognosefehlermessungen, der Mean Absolute Scaled Error (MASE) von Hyndman & Koehler (siehe auch hier ), misst, um wie viel sich eine gegebene Prognose gegenüber der (in Stichprobe) naiven Random-Walk-Prognose verbessert: wenn MASE <1, Ihre Prognose ist besser als die Stichprobenprognose. Sie würden erwarten, dass dies eine leicht zu übertreffende Bindung ist, oder?

Nicht so: Manchmal ergibt selbst die beste aus mehreren Standard-Prognosemethoden wie ARIMA oder ETS nur einen MASE von 1,38, dh schlechter (außerhalb der Stichprobe) als die (innerhalb der Stichprobe) zufällige Wandervorhersage. Das ist schon beunruhigend genug, um hier Fragen zu stellen. (Diese Frage ist kein Duplikat dieser Frage, da die MASE die Genauigkeit außerhalb der Stichprobe mit der Genauigkeit innerhalb der Stichprobe einer naiven Methode vergleicht, sie ist jedoch auch für die vorliegende Frage aufschlussreich.)


1
Vielen Dank für Ihre Zustimmung, aber vielleicht möchten Sie einen Tag warten - wenn eine Frage Antworten akzeptiert hat, wird sie sogar von weniger Personen gelesen, geschweige denn kommentiert oder beantwortet. Und andere Leute haben vielleicht andere Einstellungen dazu.
Zögern Sie nicht zu

Es ist sehr ehrlich von dir :) Ich werde es einen Tag geben. Vielen Dank.
Andy T

9
"Komplex" ist ein enger Verwandter von "Überanpassung".
Shadowtalker

1
+1 nette Antwort. Wenn die Vorhersage ein evidenzbasiertes Gebiet wie die Medizin wäre, wäre die ARIMA-Methode Geschichte.
Prognose

2
Einfaches ARIMA ohne Überprüfung der Gaußschen Annahmen ist für die meisten von uns bereits Geschichte, aber anscheinend nicht für alle!
IrishStat
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.