Beste Methode für kurze Zeitreihen

35

Ich habe eine Frage zur Modellierung kurzer Zeitreihen. Es ist keine Frage, ob man sie modelliert , sondern wie. Welche Methode empfehlen Sie für die Modellierung (sehr) kurzer Zeitreihen (etwa der Länge T20 )? Mit "am besten" meine ich hier die robusteste, die aufgrund der begrenzten Anzahl von Beobachtungen am wenigsten fehleranfällig ist. Bei kurzen Reihen können einzelne Beobachtungen die Prognose beeinflussen. Die Methode sollte daher eine vorsichtige Abschätzung der Fehler und der möglichen Variabilität im Zusammenhang mit der Prognose liefern. Ich interessiere mich generell für univariate Zeitreihen, aber es wäre auch interessant, andere Methoden zu kennen.

Tim
quelle
Was ist die Zeiteinheit? Können Sie die Daten posten?
Dimitriy V. Masterov
8
Welche Annahmen Sie auch treffen - in Bezug auf Saisonalität, Stationarität usw. - Eine kurze Zeitreihe gibt Ihnen die Möglichkeit, nur die offensichtlichsten Verstöße zu erkennen. Daher sollten Annahmen in Bezug auf Domänenwissen fundiert sein. Müssen Sie modellieren oder nur Vorhersagen treffen? Der M3-Wettbewerb verglich verschiedene "automatische" Vorhersagemethoden für Serien aus verschiedenen Bereichen, von denen einige nur 20 Jahre
alt sind
5
+1 zu @ Scortchis Kommentar. Übrigens Mcomphaben 504 von den 3.003 M3-Reihen (erhältlich im Paket für R) 20 oder weniger Beobachtungen, speziell 55% der jährlichen Reihen. So können Sie die Originalveröffentlichung nachschlagen und sehen, was für jährliche Daten gut funktioniert. Oder stöbern Sie in den ursprünglichen Vorhersagen des M3-Wettbewerbs, die im McompPaket (Liste M3Forecast) enthalten sind.
S. Kolassa - Wiedereinsetzung von Monica am
Hallo, ich werde der Antwort nichts hinzufügen, sondern nur etwas über die Frage mitteilen, von der ich hoffe, dass sie anderen helfen kann, das Problem hier zu verstehen: Wenn Sie " robust" sagen , ist dies die am wenigsten fehleranfällige Frage aufgrund der Tatsache, dass sie begrenzt ist Anzahl der Beobachtungen . Ich glaube, Robustheit ist ein wichtiges Konzept für Statistiken, und hier ist es entscheidend, da so wenig Daten vorhanden sind, dass jede Modellanpassung stark von den Annahmen des Modells selbst oder von Ausreißern abhängt. Mit der Robustheit verringern Sie diese Einschränkungen, ohne dass die Annahme Ihre Ergebnisse einschränkt. Ich hoffe das hilft.
Tommaso Guerrini
2
@TommasoGuerrini robuste Methoden machen nicht weniger Annahmen, sie machen andere Annahmen.
Tim

Antworten:

31

Es ist sehr üblich , extrem einfache Prognoseverfahren wie „den historischen Durchschnitt prognostizieren“ komplexere Methoden zu entwickeln. Dies gilt umso mehr für kurze Zeitreihen. Ja, im Prinzip können Sie ein ARIMA-Modell oder ein noch komplexeres Modell an 20 oder weniger Beobachtungen anpassen, aber es ist eher wahrscheinlich, dass Sie überanpassen und sehr schlechte Vorhersagen erhalten.

Also: Beginnen Sie mit einem einfachen Benchmark, zB

  • das historische Mittel
  • der historische Median für zusätzliche Robustheit
  • die zufällige Wanderung (Vorhersage der letzten Beobachtung)

Bewerten Sie diese anhand von Daten, die außerhalb der Stichprobe liegen. Vergleichen Sie komplexere Modelle mit diesen Benchmarks. Sie werden überrascht sein, wie schwierig es ist, diese einfachen Methoden zu übertreffen. Vergleichen Sie außerdem die Robustheit verschiedener Methoden mit diesen einfachen Methoden, indem Sie beispielsweise nicht nur die durchschnittliche Genauigkeit außerhalb der Stichprobe, sondern auch die Fehlervarianz anhand Ihres bevorzugten Fehlermaßes bewerten .

Ja, wie Rob Hyndman in seinem Beitrag schreibt , auf den Aleksandr verweist, ist das Testen außerhalb der Stichprobe für kurze Serien ein Problem für sich - aber es gibt wirklich keine gute Alternative. ( Verwenden Sie keine In-Sample-Anpassung, da dies kein Hinweis auf die Prognosegenauigkeit ist .) Der AIC hilft Ihnen nicht beim Median und beim Zufallslauf. Sie können jedoch eine zeitreihenübergreifende Validierung verwenden , die sich dem AIC ohnehin annähert.

S. Kolassa - Setzen Sie Monica wieder ein
quelle
Gerade deine Antwort entdeckt (+1). Ich habe noch einen Kommentar abgegeben, falls Sie interessiert sind und dies klären möchten.
Aleksandr Blekh
17

Ich nutze eine Frage erneut als Gelegenheit, mehr über Zeitreihen zu erfahren - eines der (vielen) Themen, die mich interessieren. Nach einer kurzen Recherche scheint es für mich mehrere Ansätze zu geben, um kurze Zeitreihen zu modellieren.

Der erste Ansatz besteht darin, standardmäßige / lineare Zeitreihenmodelle (AR, MA, ARMA usw.) zu verwenden, jedoch auf bestimmte Parameter zu achten, wie in diesem Beitrag [1] von Rob Hyndman beschrieben, der keine Einführung in benötigt Zeitreihen und Prognosewelt. Der zweite Ansatz, auf den in den meisten verwandten Literaturstellen Bezug genommen wird, schlägt die Verwendung nichtlinearer Zeitreihenmodelle vor , insbesondere der Schwellenmodelle [2], zu denen das Schwellenautoregressivmodell (TAR) , das selbstverlassende TAR ( SETAR) , autoregressives Schwellendurchschnittsmodell (TARMA) und TARMAX- Modell, das TAR erweitertModell zu exogenen Zeitreihen. Hervorragende Übersichten [4].Informationen zu den nichtlinearen Zeitreihenmodellen, einschließlich Schwellenwertmodellen, finden Sie in diesem Artikel [3] und in diesem Artikel

Schließlich beschreibt eine andere IMHO-bezogene Forschungsarbeit [5] einen interessanten Ansatz, der auf der Volterra-Weiner- Darstellung nichtlinearer Systeme basiert - siehe dies [6] und dies [7]. Es wird argumentiert, dass dieser Ansatz anderen Techniken im Zusammenhang mit kurzen und verrauschten Zeitreihen überlegen ist .

Verweise

  1. Hyndman, R. (4. März 2014). Anpassen von Modellen an kurze Zeitreihen. [Blogeintrag]. Abgerufen von http://robjhyndman.com/hyndsight/short-time-series
  2. Pennsylvania Staatsuniversität. (2015). Schwellenmodelle. [Online-Kursmaterialien]. STAT 510, Angewandte Zeitreihenanalyse. Abgerufen von https://onlinecourses.science.psu.edu/stat510/node/82
  3. Zivot, E. (2006). Nichtlineare Zeitreihenmodelle. [Notizen]. ECON 584, Zeitreihenökonometrie. Washington Universität. Abgerufen von http://faculty.washington.edu/ezivot/econ584/notes/nonlinear.pdf
  4. Chen, CWS, MKP & Liu, F.-C. (2011). Ein Überblick über Schwellenwert-Zeitreihenmodelle im Finanzbereich. Statistik und ihre Schnittstelle, 4 , 167–181. Abgerufen von http://intlpress.com/site/pub/files/_fulltext/journals/sii/2011/0004/0002/SII-2011-0004-0002-a012.pdf
  5. Barahona, M. & Poon, C.-S. (1996). Detektion nichtlinearer Dynamik von kurzen, verrauschten Zeitreihen. Nature, 381 , 215 & ndash ; 217. Abgerufen von http://www.bg.ic.ac.uk/research/m.barahona/nonlin_detec_nature.PDF
  6. Franz, MO (2011). Volterra- und Wiener-Serie. Scholarpedia, 6 (10): 11307. Abgerufen von http://www.scholarpedia.org/article/Volterra_and_Wiener_series
  7. Franz, MO & Scholkopf, B. (nd). Eine einheitliche Sichtweise der Wiener- und Volterra-Theorie und der polynomialen Kernregression. Abgerufen von http://www.is.tuebingen.mpg.de/fileadmin/user_upload/files/publications/nc05_%5B0%5D.pdf
Aleksandr Blekh
quelle
4
+1 Würde es Ihnen etwas ausmachen, die Referenzen für diese Artikel in Ihre Antwort zu schreiben? Wir haben kürzlich herausgefunden, dass viele Links zu Veröffentlichungen nach einer Weile verfaulen und sie letztendlich fast unbrauchbar machen, es sei denn, die Autoren, Titel usw. der Veröffentlichungen werden ebenfalls im Text erwähnt.
whuber
2
@whuber: Danke. Kein Problem, ich werde meine Antwort heute Abend mit Referenzen aktualisieren.
Aleksandr Blekh
2
+1 für den Link zu Rob Hyndmans Beitrag. (Aber ich bin versucht , auf -1 für die komplexen Modelle. Ich würde äußerst vorsichtig Schwelle der Verwendung oder andere nichtlinearen Zeitreihenverfahren auf Zeitreihen von weniger als 20 Beobachtungen. Sie sind so gut wie sicher zu Überanpassung, die geht direkt Zähler auf die Forderung des OP nach einer robusten Methode.)
S. Kolassa - Wiedereinsetzung von Monica
3
[2,3,4] erwähnen keine kurzen Zeitreihen und betrachten Sie die Diagramme in [2]:> 120 Beobachtungen. [4] konzentriert sich auf Finanzen, wo Sie enorm mehr als 20 Beobachtungen haben. [5] schreibt über "kurze Zeitreihen, typischerweise 1000 Punkte lang" (S. 216). Ich sehe keine Möglichkeit, ein TAR- oder ähnliches Modell oder eines der komplexeren, mit denen Sie verknüpft sind, mit <20 Beobachtungen zuverlässig und robust anzupassen. (Übrigens: Nebenbei mache ich auch einige Inferenzstatistiken, und mit weniger als 20 Beobachtungen kann man wirklich nicht mehr als den Mittelwert und einen weiteren Parameter schätzen.)
S. Kolassa - Reinstate Monica
5
Gern geschehen ;-) Ich denke, dass "short" sehr kontextabhängig ist: Für Sensor-Messreihen oder im Finanzbereich sind 1000 Datenpunkte "short" - aber im Supply-Chain-Management sind 20 monatliche Beobachtungen fast normal , und "kurz" beginnen erst bei 12 oder weniger Beobachtungen.
S. Kolassa - Wiedereinsetzung von Monica am
11

Nein, es gibt keine beste univariate Extrapolationsmethode für eine kurze Zeitreihe mitT20Serie. Extrapolationsmethoden benötigen viele, viele Daten.

Die folgenden qualitativen Methoden eignen sich in der Praxis für sehr kurze oder keine Daten:

  • Zusammengesetzte Prognosen
  • Umfragen
  • Delphi-Methode
  • Szenariogebäude
  • Prognose entsprechend
  • Exekutive Meinung

Eine der besten Methoden, von denen ich weiß, dass sie sehr gut funktionieren, ist die Verwendung von strukturierten Analogien (5. in der obigen Liste), bei denen Sie nach ähnlichen / analogen Produkten in der Kategorie suchen, die Sie prognostizieren möchten, und diese zur Prognose von Kurzzeitprognosen verwenden . In diesem Artikel finden Sie Beispiele und ein SAS-Dokument, in dem erläutert wird, wie dies mit SAS durchgeführt wird. Eine Einschränkung ist, dass analoge Vorhersagen nur funktionieren, wenn Sie gute Analogien haben. Andernfalls können Sie sich auf wertende Vorhersagen verlassen. Hier ist ein weiteres Video der Forecastpro-Software, in dem erläutert wird, wie mit einem Tool wie Forecastpro analoge Prognosen erstellt werden. Die Wahl einer Analogie ist mehr Kunst als Wissenschaft und Sie benötigen Fachwissen, um analoge Produkte / Situationen auszuwählen.

Zwei hervorragende Ressourcen für Kurz- oder Neuproduktprognosen:

  • Prinzip der Vorhersage von Armstrong
  • Neue Produktprognose von Kahn

Das Folgende ist zum Zwecke der Veranschaulichung. Ich habe gerade das Lesen beendet Signal und Rauschen beendetvon Nate Silver, dass es ein gutes Beispiel für die Immobilienblase und -prognose in den USA und Japan (analog zum US-amerikanischen Markt) gibt. Wenn Sie in der folgenden Tabelle an 10 Datenpunkten anhalten und eine der Extrapolationsmethoden (Exponential Smooting / Ets / Arima ...) verwenden, können Sie sehen, wohin Sie und wo das eigentliche Ende führt. Das Beispiel, das ich vorgestellt habe, ist viel komplexer als die einfache Extrapolation von Trends. Dies ist nur, um die Risiken einer Trendextrapolation unter Verwendung begrenzter Datenpunkte hervorzuheben. Wenn Ihr Produkt ein saisonales Muster aufweist, müssen Sie eine Art analoger Produktsituation für die Prognose verwenden. Ich habe einen Artikel im Journal of Business Research gelesen, der meiner Meinung nach besagt, dass Sie mit analogen Produkten Daten mit größerer Genauigkeit vorhersagen können, wenn Sie 13 Wochen lang Arzneimittel verkaufen.

Bildbeschreibung hier eingeben

Prognostiker
quelle
Vielen Dank für den Hinweis auf einen anderen Ansatz! Und ich stimme zu, Nate Silvers Buch ist großartig.
Tim
5

Die Annahme, dass die Anzahl der Beobachtungen von entscheidender Bedeutung ist, ergab sich aus einem unredlichen Kommentar von GEP Box zur Mindeststichprobengröße zur Identifizierung eines Modells. Eine differenziertere Antwort ist für mich, dass das Problem / die Qualität der Modellidentifikation nicht allein auf der Stichprobengröße beruht, sondern auf dem Verhältnis von Signal zu Rauschen, das in den Daten enthalten ist. Wenn Sie ein starkes Signal-Rausch-Verhältnis haben, brauchen Sie weniger Beobachtungen. Wenn Sie ein niedriges Signal / Rausch-Verhältnis haben, benötigen Sie mehr Proben zur Identifizierung. Wenn Ihr Datensatz monatlich ist und Sie 20 Werte haben, ist es nicht möglich, ein saisonales Modell empirisch zu identifizieren. Wenn Sie jedoch glauben, dass die Daten saisonal sind, können Sie den Modellierungsprozess durch Angabe eines ar (12) starten und dann eine Modelldiagnose durchführen ( Signifikanztests), um Ihr strukturell mangelhaftes Modell entweder zu reduzieren oder zu erweitern

IrishStat
quelle
5

Bei sehr begrenzten Daten wäre ich eher geneigt, die Daten mit Bayes'schen Techniken anzupassen.

Stationarität kann im Umgang mit Bayes'schen Zeitreihenmodellen etwas knifflig sein. Eine Möglichkeit besteht darin, Einschränkungen für Parameter zu erzwingen. Oder du konntest nicht. Dies ist in Ordnung, wenn Sie sich nur die Verteilung der Parameter ansehen möchten. Wenn Sie jedoch die Vorhersage für den posterioren Bereich generieren möchten, können viele Prognosen explodieren.

Die Stan-Dokumentation enthält einige Beispiele, in denen die Parameter von Zeitreihenmodellen eingeschränkt werden, um die Stationarität sicherzustellen. Dies ist für die von ihnen verwendeten relativ einfachen Modelle möglich, bei komplizierteren Zeitreihenmodellen ist dies jedoch so gut wie unmöglich. Wenn Sie die Stationarität wirklich erzwingen möchten, können Sie einen Metropolis-Hastings-Algorithmus verwenden und alle unpassenden Koeffizienten herausfiltern. Dies erfordert jedoch die Berechnung einer Vielzahl von Eigenwerten, was die Entwicklung verlangsamt.

John
quelle
0

Das Problem, auf das Sie mit Bedacht hingewiesen haben, ist die "Überanpassung", die durch festgelegte listenbasierte Prozeduren verursacht wird. Eine clevere Möglichkeit ist, die Gleichung einfach zu halten, wenn Sie nur eine vernachlässigbare Datenmenge haben. Ich habe nach vielen Monden festgestellt, dass, wenn Sie einfach ein AR (1) -Modell verwenden und die Anpassungsrate (den AR-Koeffizienten) an die Daten belassen, die Dinge einigermaßen gut funktionieren können. Wenn beispielsweise der geschätzte ar-Koeffizient nahe Null ist, bedeutet dies, dass der Gesamtmittelwert angemessen wäre. Wenn der Koeffizient in der Nähe von +1,0 liegt, bedeutet dies, dass der letzte Wert (angepasst für eine Konstante) geeigneter ist. Wenn der Koeffizient in der Nähe von -1,0 liegt, ist das Negativ des letzten Werts (angepasst für eine Konstante) die beste Vorhersage. Wenn der Koeffizient anders ist, bedeutet dies, dass ein gewichteter Durchschnitt der jüngsten Vergangenheit angemessen ist.

Genau damit beginnt AUTOBOX und verwirft dann Anomalien, wenn der geschätzte Parameter bei einer "kleinen Anzahl von Beobachtungen" feinabgestimmt wird.

Dies ist ein Beispiel für die "Kunst der Vorhersage", bei der ein rein datengetriebener Ansatz möglicherweise nicht anwendbar ist.

Es folgt ein automatisches Modell, das für die 12 Datenpunkte ohne Berücksichtigung von Anomalien entwickelt wurde. enter image description heremit Actual / Fit und Forecast hier enter image description hereund Residual Plot hierenter image description here

IrishStat
quelle