Warum ist es gültig, Zeitreihen mit Regression zu verfälschen?

Es mag eine komische Frage sein, aber als Anfänger frage ich mich, warum wir die Regression verwenden, um eine Zeitreihe abzutrennen, wenn eine der Annahmen der Regression darin besteht, dass die Daten, auf die die Regression angewendet wird, a sind nicht iid?

regression time-series trend iid FarrukhJ
quelle

Es ist nicht generell wahr, dass wir davon ausgehen, dass die "Daten" iid sind

Christoph Hanck

Was meinst du genau mit Detrend ?

Matthew Gunn

Ich habe nicht die Zeit, eine richtige Antwort zu schreiben / zu dokumentieren, aber im Allgemeinen wirkt sich die serielle Korrelation nicht negativ auf die Ergebnisse einer linearen Regression aus (sie verändert die angemessene Berechnung der Standardfehler, Konfidenzintervalle usw.). Dies macht den klassischen zweistufigen Ansatz (Detrend, dann Korrelationsanalyse) sinnvoll. (z. B. ein bisschen googeln von "Serial Correlation Linear Regression unvoreingenommene" führt zu fmwww.bc.edu/ec-c/f2010/228/EC228.f2010.nn12.pdf )

Ben

Vielleicht noch wichtiger ist , konvergiert der OLS - Schätzer des Koeffizienten auf einen linearen Trend eine ganze Größenordnung schneller (mit einer Geschwindigkeit

) auf seinen wahren Wert als für stationäre Regressoren (

), das heißt , Sie kann den Trend konsistent abschätzen, auch wenn Sie die stationären Variablen vernachlässigen. Dies steht im Gegensatz zur Schätzung der Auswirkungen stationärer Variablen nacheinander, bei der Sie die Konsistenz verlieren, wenn Sie Variablen weglassen.

n^{- 3 / 2}

$n^{-3/2}$

n^{- 1 / 2}

$n^{-1/2}$

Richard Hardy

Antworten:

Sie sind scharfsinnig in der Annahme, dass es möglicherweise einen Konflikt zwischen den klassischen Annahmen der linearen Regression der kleinsten Quadrate und der seriellen Abhängigkeit gibt, die üblicherweise in der Zeitreiheneinstellung zu finden ist.

Man betrachte die Annahme 1.2 (Strikte Exogenität) von Fumio Hayashis Ökonometrie .

E [ϵ_{i} ∣ X] = 0

$\mathrm{E}[\epsilon_i \mid X] = 0$

Dies impliziert wiederum, dass , dass jeder Rest orthogonal zu jedem Regressor . Hayashi weist darauf hin, dass diese Annahme im einfachsten autoregressiven Modell verletzt wird . [1] Betrachten Sie den AR (1) -Prozess: $\mathrm{E}[\epsilon_i \mathbf{x}_j] = \mathbf{0}$ $\epsilon_i$ $\mathbf{x}_j$

y_{t} = β y_{t - 1} + ϵ_{t}

$y_{t} = \beta y_{t-1} + \epsilon_t$

Wir können sehen , dass ein Regressor für seine , aber ist nicht orthogonal zum (dh ). $y_t$ $y_{t+1}$ $\epsilon_t$ $y_t$ $\mathrm{E}[\epsilon_ty_t]\neq0$

Da die strikte Exogenitätsannahme verletzt wird, kann keines der Argumente, die auf dieser Annahme beruhen, auf dieses einfache AR (1) -Modell angewendet werden!

Wir haben also ein hartnäckiges Problem?

Nein, das machen wir nicht! Das Schätzen von AR (1) -Modellen mit gewöhnlichen kleinsten Quadraten ist ein völlig gültiges Standardverhalten. Warum kann es noch ok sein?

Asymptotische Argumente mit großer Stichprobe erfordern keine strikte Exogenität. Eine ausreichende Annahme (die anstelle einer strengen Exogenität verwendet werden kann) ist, dass die Regressoren vorbestimmt sind , dass die Regressoren orthogonal zum Ausdruck des zeitgleichen Fehlers sind. Siehe Hayashi, Kapitel 2 für ein ausführliches Argument.

Verweise

[1] Fumio Hayashi, Econometrics (2000), p. 35

[2] ibid., P. 134

Matthew Gunn
quelle

Grundlegende Regressionsmethoden vom Typ der kleinsten Quadrate setzen nicht voraus, dass die y-Werte iid sind. Sie setzen die Residuen voraus (dh y-Wert minus wahrer Trend) iid sind

Es gibt auch andere Regressionsmethoden, die andere Annahmen treffen, aber das würde diese Antwort wahrscheinlich zu kompliziert machen.

Geoffrey Brent
quelle

Annahme, die auch eindeutig falsch ist: Denken Sie nur an eine Zeitreihe mit linearem Trend und Saisonalität. Die verbleibenden Residuen aus der linearen Regression sind eindeutig korreliert, also nicht iid.

DeltaIV

Das ist eine gute Frage! Das Problem wird in meinen Zeitreihenbüchern nicht einmal erwähnt (ich brauche wahrscheinlich bessere Bücher :). Beachten Sie zunächst, dass Sie nicht gezwungen sind, eine lineare Regression zu verwenden, um eine Zeitreihe zu zerstören. wenn die Reihe einen stochastischen Trend aufweist (Einheitswurzel) )- Sie könnten einfach den ersten Unterschied nehmen. Sie müssen jedoch die lineare Regression verwenden, wenn die Reihe einen deterministischen Trend aufweist. In diesem Fall ist es wahr, dass die Residuen nicht iid sind, wie Sie sagen. Denken Sie nur an eine Reihe mit linearem Trend, saisonalen Komponenten, zyklischen Komponenten usw. - nach linearer Regression sind die Residuen so gut wie unabhängig. Der Punkt ist, dass Sie dann keine lineare Regression verwenden, um Vorhersagen zu treffen oder Vorhersageintervalle zu bilden. Dies ist nur ein Teil Ihres Inferenzverfahrens: Sie müssen noch andere Methoden anwenden, um zu nicht korrelierten Residuen zu gelangen. Also, während lineare Regression an sich ist für die meisten Zeitreihen kein gültiges Inferenzverfahren (es ist nicht das richtige statistische Modell). Ein Verfahren, das eine lineare Regression enthält, da einer seiner Schritte ein gültiges Modell sein kann, wenn das von ihm angenommene Modell dem Datenerzeugungsprozess für das entspricht Zeitfolgen.

DeltaIV
quelle

Unterscheiden Sie nicht, wenn Sie einen deterministischen Trend haben - die Unterscheidung eignet sich nur für stochastische Trends (Einheitswurzeln). Wenn Sie eine Reihe ohne eine Einheitswurzel unterscheiden, führen Sie integrierte Fehler vom Typ gleitender Durchschnitt in das Modell ein, und das ist böse.

Richard Hardy

Ich denke du meinst Unterschied, nicht Differenzieren.

Hong Ooi

@RichardHardy interessant. Was meinst du mit "stochastischer Trend"? Meinen Sie damit Zyklen? Würde

y_{t} = β_{0} + β_{1} y_{t - 1} + ϵ_{t}

$y_t=\beta_0+\beta_1 y_{t-1}+\epsilon_t$ Haben Sie einen stochastischen oder deterministischen Trend gemäß Ihrer Definition?

DeltaIV,

@ HongOoi, ja, meine schlechte, ich meinte Differenzierung, nicht Differenzierung. DeltaIV, eine Zeitreihe, hat einen stochastischen Trend, wenn die Zeitreihe ein integrierter (= Einheitswurzel) Prozess ist. Dies ist ein Standardbegriff in der Einheitswurzel- und Kointegrationsliteratur. Ich frage mich, ob es in anderen Bereichen der Literatur unterschiedliche Bedeutungen hat. In jedem Fall ist eine Überdifferenzierung (= Differenzierung einer Zeitreihe ohne Einheitswurzel) ein berüchtigtes Phänomen und sollte vermieden werden.

Richard Hardy

@RichardHardy ok, danke. Ich werde versuchen, mich über die Definition von integrierten Prozess- und Einheitenwurzeln zu dokumentieren. Können Sie mir zunächst sagen, ob die von mir vorgeschlagene Serie integriert ist oder nicht? Sind die Wurzeln, auf die Sie sich beziehen, die Wurzeln des Polynoms?

y = β_{0} + b e t a_{1} x_{1}

$y=\beta_0+beta_1 x_1$ ?

DeltaIV