Ist es ungewöhnlich, dass die MEAN ARIMA übertrifft?

Ich habe kürzlich eine Reihe von Prognosemethoden (MEAN, RWF, ETS, ARIMA und MLPs) angewendet und festgestellt, dass MEAN überraschend gut abschneidet. (BEDEUTUNG: Alle zukünftigen Vorhersagen werden als gleich dem arithmetischen Mittel der beobachteten Werte vorausgesagt.) BEDEUTUNG übertraf ARIMA bei den drei von mir verwendeten Serien sogar.

Ich möchte wissen, ob dies ungewöhnlich ist. Bedeutet das, dass die von mir verwendeten Zeitreihen seltsam sind? Oder bedeutet dies, dass ich etwas falsch eingestellt habe?

Ich bin ein Praktiker, Produzent und Anwender von Prognosen und KEIN ausgebildeter Statistiker. Im Folgenden teile ich einige meiner Gedanken darüber, warum Ihre Durchschnittsprognose besser als die von ARIMA ausgefallen ist, indem ich mich auf einen Forschungsartikel beziehe, der auf empirischen Nachweisen beruht. Ein Buch, auf das ich immer wieder zurückgreife, ist das Principles of Forecasting- Buch von Armstrong und seine Website, die ich als ausgezeichnete Lektüre für jeden Prognostiker empfehlen würde.

Zur Beantwortung Ihrer ersten Frage : Was ich wissen möchte, ist, wenn dies ungewöhnlich ist?

Es gibt ein Kapitel namens Extrapolation für Zeitreihen- und Querschnittsdaten, das ebenfalls kostenlos auf derselben Website verfügbar ist . Das Folgende ist das Zitat aus dem Kapitel

"Zum Beispiel erwies sich Box-Jenkins im M2-Wettbewerb in Echtzeit, der 29 Monatsreihen untersuchte, als eine der am wenigsten genauen Methoden, und sein Medianfehler war insgesamt 17% höher als der einer naiven Prognose."

Es gibt empirische Belege dafür, warum Ihre Durchschnittsprognosen besser waren als ARIMA-Modelle.

Es gibt auch Studien nach Studien in empirischen Wettbewerben und der dritte M3-Wettbewerb , der zeigt, dass der Box-Jenkins-ARIMA-Ansatz keine genauen Vorhersagen liefert und keine Belege dafür liefert, dass er bei univariater Trendextrapolation besser abschneidet.

Es gibt auch ein weiteres Papier und eine laufende Studie von Greene und Armstrong mit dem Titel " Einfache Prognose: Vermeiden Sie Tränen vor dem Zubettgehen " auf derselben Website. Die Autoren der Arbeit fassen Folgendes zusammen:

Insgesamt identifizierten wir 29 Artikel, in denen 94 formale Vergleiche der Genauigkeit von Vorhersagen komplexer Methoden mit denen einfacher, aber nicht in allen Fällen sehr einfacher Methoden vorgenommen wurden. Dreiundachtzig Prozent der Vergleiche ergaben, dass die Vorhersagen von einfachen Methoden genauer oder ähnlich genau waren wie die von komplexen Methoden. Im Durchschnitt waren die Fehler von Vorhersagen aus komplexen Methoden um 32 Prozent höher als die Fehler von Vorhersagen aus einfachen Methoden in den 21 Studien, die Fehlervergleiche liefern

Zur Beantwortung Ihrer dritten Frage : Bedeutet dies, dass ich etwas falsch eingestellt habe? Nein, ich würde ARIMA als komplexe Methode und Mean Forecast als einfache Methode betrachten. Es gibt zahlreiche Belege dafür, dass einfache Methoden wie Mean Forecast komplexe Methoden wie ARIMA übertreffen.

Um Ihre zweite Frage zu beantworten : Bedeutet das, dass die von mir verwendeten Zeitreihen seltsam sind?

Im Folgenden sind einige Beispiele aufgeführt, die ich als Experten für Prognosen in der realen Welt betrachtete:

• Makridakis (Pionierter empirischer Prognosewettbewerb mit den Bezeichnungen M, M2 und M3 und Wegbereiter für evidenzbasierte Prognosemethoden)
• Armstrong (Bietet wertvolle Erkenntnisse in Form von Büchern / Artikeln zur Prognosepraxis)
• Gardner (erfundene exponentielle Glättung des gedämpften Trends, eine weitere einfache Methode, die im Vergleich zu ARIMA überraschend gut funktioniert)

Alle oben genannten Forscher befürworten Einfachheit (Methoden wie Ihre Durchschnittsprognose) im Vergleich zu komplexen Methoden wie ARIMA. Sie sollten sich also sicher sein, dass Ihre Vorhersagen gut sind und auf der Grundlage empirischer Erkenntnisse immer die Einfachheit der Komplexität vorziehen. Diese Forscher haben alle einen großen Beitrag zur angewandten Vorhersage geleistet.

Neben Stephans guter Liste einfacher Prognosemethoden. Es gibt auch eine andere Methode namens Theta-Prognosemethode, die eine sehr einfache Methode ist (im Grunde genommen einfaches exponentielles Glätten mit einer Drift, die 1/2 der Steigung der linearen Regression entspricht). Ich würde dies zu Ihrer Toolbox hinzufügen. Forecast package in Rimplementiert diese Methode.

Das ist überhaupt nicht überraschend . In der Prognose finden Sie sehr oft, dass extrem einfache Methoden, wie

• der Gesamtmittelwert
• der naive Zufallsrundgang (dh die letzte als Prognose verwendete Beobachtung)
• eine saisonale zufällige Wanderung (dh die Beobachtung von einem Jahr zurück)
• Einzelne exponentielle Glättung

komplexere Methoden übertreffen. Aus diesem Grund sollten Sie Ihre Methoden immer anhand dieser sehr einfachen Benchmarks testen.

Ein Zitat von George Athanosopoulos und Rob Hyndman (die Experten auf dem Gebiet sind):

Einige Prognosemethoden sind sehr einfach und überraschend effektiv.

Beachten Sie, wie sie ausdrücklich sagen, dass sie einige sehr einfache Methoden als Benchmarks verwenden werden.

In der Tat ist ihr ganzes kostenloses offenes Online-Lehrbuch über Prognosen sehr zu empfehlen.

BEARBEITEN: Eine der besser akzeptierten Prognosefehlermessungen, der Mean Absolute Scaled Error (MASE) von Hyndman & Koehler (siehe auch hier ), misst, um wie viel sich eine gegebene Prognose gegenüber der (in Stichprobe) naiven Random-Walk-Prognose verbessert: wenn MASE <1, Ihre Prognose ist besser als die Stichprobenprognose. Sie würden erwarten, dass dies eine leicht zu übertreffende Bindung ist, oder?

Nicht so: Manchmal ergibt selbst die beste aus mehreren Standard-Prognosemethoden wie ARIMA oder ETS nur einen MASE von 1,38, dh schlechter (außerhalb der Stichprobe) als die (innerhalb der Stichprobe) zufällige Wandervorhersage. Das ist schon beunruhigend genug, um hier Fragen zu stellen. (Diese Frage ist kein Duplikat dieser Frage, da die MASE die Genauigkeit außerhalb der Stichprobe mit der Genauigkeit innerhalb der Stichprobe einer naiven Methode vergleicht, sie ist jedoch auch für die vorliegende Frage aufschlussreich.)