Wie kann eine signifikante Änderung der Zeitreihendaten aufgrund einer Richtlinienänderung festgestellt werden?

15

Ich hoffe, dies ist der richtige Ort, um dies zu veröffentlichen. Ich habe darüber nachgedacht, es bei Skeptikern zu veröffentlichen, aber ich denke, sie würden nur sagen, dass die Studie statistisch falsch war. Ich bin gespannt auf die Kehrseite der Frage, wie man es richtig macht.

Auf der Website Quantified Self veröffentlichte der Autor die Ergebnisse eines Experiments, bei dem eine bestimmte Leistungsmetrik über die Zeit an sich selbst gemessen und vor und nach einem plötzlichen Abbruch des Kaffeetrinkens verglichen wurde. Die Ergebnisse wurden subjektiv ausgewertet, und der Autor war der Ansicht, dass er Hinweise darauf hatte, dass sich die Zeitreihen geändert hatten, und dass dies im Zusammenhang mit der Änderung der Politik (Kaffeetrinken) stand.

Was mich daran erinnert, sind Modelle der Wirtschaft. Wir haben nur eine Volkswirtschaft (die uns im Moment am Herzen liegt), daher führen Ökonomen häufig im Wesentlichen n = 1 Experimente durch. Aus diesem Grund werden die Daten mit ziemlicher Sicherheit im Laufe der Zeit automatisch korreliert. Die Ökonomen beobachten im Allgemeinen, wie die Fed eine Politik einleitet, und versuchen zu entscheiden, ob sich die Zeitreihen möglicherweise aufgrund der Politik geändert haben.

Was ist der geeignete Test, um zu bestimmen, ob die Zeitreihen basierend auf den Daten zu- oder abgenommen haben? Wie viele Daten würde ich brauchen? Welche Tools gibt es? Mein anfängliches Googeln schlägt Markov Switching Time Series Models vor, aber nicht meine Googeln-Fähigkeiten helfen mir, irgendetwas mit dem Namen der Technik zu tun.

MatthewMartin
quelle

Antworten:

4

Das von Jason erwähnte Box-Tiao-Papier basierte auf einer bekannten Gesetzesänderung. Die Frage ist hier, wie man den Zeitpunkt erkennt. Die Antwort ist, das Tsay-Verfahren zu verwenden, um Interventionen zu erkennen, sei es Impulse, Pegelverschiebungen, saisonale Impulse und / oder lokale Zeittrends.

IrishStat
quelle
1

Wenn ich einige alte Notizen zu Strukturbrüchen durchsehe, habe ich diese beiden Zitate:

Enders, "Applied Econometric Time Series", 2. Auflage, Kap. 5.

Enders erläutert Interventionen, Impulsfunktionen, Funktionen zur schrittweisen Änderung, Übertragungsfunktionen usw. Dieser Artikel kann auch hilfreich sein:

Box, GEP und GC Tiao. 1975. "Interventionsanalyse mit Anwendungen auf Wirtschafts- und Umweltprobleme." Journal of the American Statistical Association 70: 70-79.

Jason Morgan
quelle
1

Könnten Sie nicht einfach ein Änderungspunktmodell verwenden und dann versuchen, den Änderungspunkt mit einem MCMC-Algorithmus wie Gibbs Sampling zu identifizieren?

Dies sollte relativ einfach zu implementieren sein, vorausgesetzt, Sie haben einige Vorabverteilungen für Ihre Daten oder die vollständige bedingte Verteilung (für Gibbs).

Eine kurze Übersicht finden Sie hier

Berk U.
quelle
1

Wenn Sie alle Zeitpunkte als Kandidatenänderungspunkte (auch als Haltepunkte oder als Strukturänderungen bezeichnet) in Betracht gezogen haben , ist das Strukturänderungspaket eine sehr gute Option.

Es scheint, dass es in Ihrem speziellen Szenario nur einen Kandidatenzeitpunkt gibt. In diesem Fall kommen mehrere schnelle Optionen in den Sinn:

  1. T-Test: Ein T-Test über die Stunden der Konzentration pro Tag in den Zeiträumen "vor dem Beenden" und "nach dem Beenden". Wenn Sie sich mit der Korrelation von Tag zu Tag befassen, können Sie einige Beobachtungen aufgeben, sodass Sie über ausreichend lange Intervalle verfügen, um zu glauben, dass die Tage nicht mehr miteinander korrelieren. Mit diesem Ansatz können Sie ganz einfach den Strom tauschen.
  2. AR: Passen Sie ein AR-Modell mit einem Dummy an: "Nach dem Beenden". Wenn der Prädiktor signifikant ist, haben Sie eine Änderung. Mit einem AR wird die (mögliche) Abhängigkeit zwischen den Tagen erfasst.
JohnRos
quelle
: John Die Idee ist, dass Sie den "Zeitpunkt eines Kandidaten" nicht kennen, ihn aber analytisch finden möchten, vielleicht für buchstäblich Hunderte von Zeitreihen. Der "Sehtest" zur Bestimmung dieses einen Kandidaten ist oft mangelhaft, da einmalige Impulse und die zugrunde liegende ARIMA-Struktur verstopfen. Interventionserkennungsmethoden a la R. Rsay oder George Tiao, die nach einer unbekannten LEVEL / STEP-Verschiebung suchen, konstruieren tatsächlich die von Ihnen beschriebene Variable (die Dummy-Variable mit Nullen, gefolgt von Einsen). Es sollte darauf geachtet werden, die Interventionen ZUERST und dann die ARIMA-Komponente und umgekehrt zu identifizieren.
IrishStat
@IrishStat: Im referenzierten Blog ist der Änderungspunkt bekannt. Für die Fälle, in denen dies nicht der Fall ist, wurde auf das Paket strucchange R verwiesen.
JohnRos
: John Von struchange documenation "Schließlich können die Haltepunkte in Regressionsmodellen mit strukturellen Veränderungen geschätzt werden", wobei die CHOW-Methode verwendet wird, mit der ich bestens vertraut bin. Das Testen oder Finden von Haltepunkten in Regressionskoeffizienten erfordert eine Angabe des Regressionsmodells und ob ich es tue Richtig, das hat überhaupt nichts mit der Beantwortung der Frage zu tun, ob die Zeitreihen aufgrund der Daten zu- oder abgenommen haben. Ich denke, Ihre Empfehlung reicht nicht aus, um die Frage des OP zu beantworten. Ich glaube, es wurde gefragt.
IrishStat
: john Das ist wahr, aber trivial, da Modelle mit nur einem Achsenabschnitt nur in Lehrbüchern oder in Träumen zu finden sind.
IrishStat
@IrishStat: Es ist wahr, dass der Strukturwandel allgemeiner ist. Das Erkennen einer Zunahme oder Abnahme der "Daten" kann jedoch durch Anpassen eines Nur-Abfang-Modells erfolgen.
JohnRos
1

Vor einigen Jahren hörte ich einen Vortrag von Stacey Hancock , einer Doktorandin, während eines örtlichen ASA-Kapiteltreffens über die "Strukturbruchschätzung" von Zeitreihen. Das Gespräch war wirklich interessant und ich sprach danach mit ihr und sie arbeitete mit Richard Davis (von Brockwell-Davis ), damals an der Colorado State University, heute in Columbia. Der Vortrag war eine Erweiterung von Davis et al. arbeiten in einer 2006 erschienenen JASA-Arbeit mit dem Titel Strutural Break Estimation for Nonstationary Time Series Models , die hier frei verfügbar ist .

Davis hat eine Software-Implementierung der Methode, die er Auto-PARM nennt und die er zu einer ausführbaren Windows-Datei gemacht hat. Wenn Sie ihn kontaktieren, erhalten Sie möglicherweise eine Kopie. Ich habe eine Kopie und hier ein Beispiel für eine Ausgabe mit 1.200 Beobachtungszeitreihen:

    ============== RESULTS ===============
  ISLAND           1
    SC=   1910.58314770669
    Breaking point/AR order
           1              1
         351              1
         612              3
    ======================================
 Total time:   5.812500

Die Reihe ist also am Anfang AR (1), bei Beobachtung 351 ändert sich der AR (1) -Prozess zu einem anderen AR (1) -Prozess (Sie können die Parameter erhalten), und bei Beobachtung 612 ändert sich der Prozess zu AR (3). .

Eine interessante Einstellung, mit der ich Auto-PARM ausprobiert habe, war das Betrachten der wöchentlichen Abhebungsdaten von Geldautomaten, die Teil des NN5-Wettbewerbs waren . Ich erinnere mich an den Algorithmus, der Ende November eines bestimmten Jahres Strukturbrüche feststellte, z.

Wie verwende ich diesen Algorithmus über vorhandene Implementierungen? Nun, Sie können sich auch an Davis wenden und nachsehen, ob Sie die ausführbare Windows-Datei erhalten können. Als ich bei Rogue Wave Software war, habe ich mit Davis zusammengearbeitet, um Auto-PARM in die IMSL Numerical Libraries aufzunehmen. Die erste Sprache, in die es portiert wurde, war Fortran , wo es Auto_PARM heißt, und ich vermute, Rogue Wave wird bald einen C-Port freigeben, dem Python-, C # - und Java-Ports folgen werden.

Josh Hemann
quelle
: Josh er OP bezog sich meiner Meinung nach nicht auf die Testhypothese der Modellparameterkonstanz, in Ihrem Fall, in dem ein AR (3) über die Zeit konstante Parameter aufweist oder nicht. Er ist der Meinung, dass es interessant ist, eine bisher unbekannte Verschiebung des Mittelwerts der Residuen festzustellen.
IrishStat
mods: Das OP bezog sich meiner Meinung nach nicht auf die Testhypothese der Modellparameterkonstanz, in Ihrem Fall, ob ein AR (3) über die Zeit konstante Parameter aufweist oder nicht Dies ist ein ganz anderes Problem als das, auf das Sie sich bezogen haben. Jetzt stimme ich vollkommen zu, dass in Abwesenheit der Interventionserkennung im Mittel der Residuen ein Zeitpunkt gefunden werden könnte, an dem entweder die Parameter eines Modells und / oder die Varianz von Die Fehler haben sich möglicherweise erheblich geändert, aber das ist nicht das, was der OP herausfinden möchte.
IrishStat
@IrishStat: Kennen Sie sich mit Auto-PARM aus? Der Algorithmus verwendet Residuen bei der Unterbrechungsschätzung (sowohl in Bezug auf die Anzahl der Unterbrechungen als auch auf die AR (p) -Ordnung der Segmente). Das OP scheint keine bestimmte Methode zu haben, nach der er fragt. Vielmehr scheint er sehr allgemein zu fragen: "Wenn ich einen Prozess in der Zeit messe und etwas am Prozess ändere, gibt es eine Möglichkeit, diesen Änderungspunkt nur anhand der Daten zu erkennen?". Er fragt nicht nach Level Shift vs. Innovation vs. Additive Outlier Detection. Hoffentlich kann das OP für uns klären ...
Josh Hemann
josh: Aus dem OP "Was ist der geeignete Test, um zu bestimmen, ob die Zeitreihen basierend auf den Daten zu- oder abgenommen haben?" Dies erfordert meines Erachtens eine Bestimmung, ob der Mittelwert der Residuen nicht die Parameter eines ARIMA-Modells verschoben hat. Meiner Meinung nach empfehlen Sie das falsche Software- / Lösungsverfahren, aber das ist nur meine Meinung.
IrishStat
1

Josh sagte:

josh: Aus dem OP "Was ist der geeignete Test, um zu bestimmen, ob die Zeitreihen basierend auf den Daten zu- oder abgenommen haben?" Dies erfordert meines Erachtens eine Bestimmung, ob der Mittelwert der Residuen nicht die Parameter eines ARIMA-Modells verschoben hat. Meiner Meinung nach empfehlen Sie das falsche Software- / Lösungsverfahren, aber das ist nur meine Meinung. - IrishStat 28. Oktober 11 um 19:08

Angenommen, man beginnt mit einem AR (1) -Modell:

Y.t=γ+ϕY.t-1+Et

Etσ2

γ1-phich

γϕ

Wenn Strukturmodelle angenommen werden, ist Auto-PARM das zu verwendende Verfahren.

user43737
quelle
1
Sieht so aus, als würden Sie tatsächlich IrishStat zitieren. Könnten Sie bitte die Originalquelle des Zitats verlinken?
Nick Stauner