Was ist der Unterschied zwischen deterministischem und stochastischem Modell?

Einfaches lineares Modell:

$x=\alpha t + \epsilon_t$ wobei ~ iid $\epsilon_t$ $N(0,\sigma^2)$

mit und $E(x) = \alpha t$ $Var(x)=\sigma^2$

AR (1):

$X_t =\alpha X_{t-1} + \epsilon_t$ wobei ~ iid $\epsilon_t$ $N(0,\sigma^2)$

mit und $E(x) = \alpha t$ $Var(x)=t\sigma^2$

Ein einfaches lineares Modell wird also als deterministisches Modell angesehen, während ein AR (1) -Modell als stokahstisches Modell angesehen wird.

Laut einem Youtube-Video von Ben Lambert - Deterministic vs Stochastic liegt der Grund dafür, dass AR (1) als stochastisches Modell bezeichnet wird, darin, dass die Varianz mit der Zeit zunimmt. Soll das Merkmal der nicht konstanten Varianz das Kriterium zur Bestimmung der stochastischen oder deterministischen sein?

Ich denke auch nicht, dass ein einfaches lineares Modell völlig deterministisch ist, da dem Modell ein Term zugeordnet ist. Daher haben wir immer eine Zufälligkeit in . Inwieweit können wir also sagen, dass ein Modell deterministisch oder stochastisch ist? $\epsilon_t$ $x$

regression stochastic-processes autoregressive deterministic Ken T.
quelle

Jedes Modell mit einem Fehlerterm ist stochastisch. Es hat nichts damit zu tun, dass sich die Varianz mit der Zeit ändern muss.

Michael R. Chernick

@ MichaelChernick Ich verstehe nicht. Warum sagen die Leute dann, dass einfache lineare Regression ein deterministisches Modell ist?

Ken T

Könnten Sie einen Link bereitstellen, um zu zeigen, wo dies gesagt wird und warum es gesagt wird?

Michael R. Chernick

Es war aus meinen Kursnotizen der Zeitreihenanalyse vor einigen Jahren. Vielleicht ist es falsch.

Ken T

Antworten:

Das Video spricht von deterministischen vs. stochastischen Trends , nicht von Modellen . Das Highlight ist sehr wichtig. Beide Modelle sind stochastisch, im Modell 1 ist der Trend jedoch deterministisch.

Das Modell 2 hat keinen Trend. Ihr Fragetext ist falsch.

Das Modell 2 in Ihrer Frage ist AR (1) ohne Konstante, während das Modell im Video ein zufälliger Spaziergang ist (Brownsche Bewegung): Dieses Modell hat tatsächlich einen stochastischen Trend . Es ist stochastisch, weil es nur im Durchschnitt . Jede Realisierung einer Brownschen Bewegung weicht aufgrund des zufälligen Terms von , was durch Differenzieren leicht zu erkennen ist:

x_{t} = α + x_{t - 1} + e_{t}

$x_t=\alpha+x_{t-1}+e_t$

α t

$\alpha t$

α t

$\alpha t$

e_{t}

$e_t$

Δ x_{t} = x_{t} - x_{t - 1} = α + e_{t}

$\Delta x_t=x_t-x_{t-1}=\alpha+e_t$

x_{t} = x_{0} + \sum_{t = 1}^{t} Δ x_{t} = x_{0} + α t + \sum_{t = 1}^{t} e_{t}

$x_t=x_0+\sum_{t=1}^t\Delta x_t=x_0+\alpha t +\sum_{t=1}^t e_t$

Aksakal
quelle

+1. Um jedoch vollkommen klar und genau zu sein, möchten Sie möglicherweise darauf hinweisen, dass die Abweichung von auf den zufälligen Term , nicht nur auf .

α t

$\alpha t$

e_{1} + e_{2} + \dots + e_{t}

$e_1+e_2+\dots +e_t$

e_{t}

$e_t$

whuber

Wie Aksakal in seiner Antwort erwähnte, beschreibt das von Ken T verknüpfte Video Eigenschaften von Trends , nicht von Modellen direkt, vermutlich als Teil des Unterrichts über das verwandte Thema Trend- und Differenzstationarität in der Ökonometrie. Da Sie in Ihrer Frage nach Modellen gefragt haben, steht dies hier im Zusammenhang mit Modellen :

Ein Modell oder Prozess ist stochastisch, wenn es zufällig ist. Wenn beispielsweise dieselben Eingaben (unabhängige Variablen, Gewichte / Parameter, Hyperparameter usw.) gegeben werden, kann das Modell unterschiedliche Ausgaben erzeugen. In deterministischen Modellen wird die Ausgabe vollständig durch die Eingaben in das Modell (unabhängige Variablen, Gewichte / Parameter, Hyperparameter usw.) spezifiziert, so dass die Ausgaben bei gleichen Eingaben in das Modell identisch sind. Der Ursprung des Begriffs "stochastisch" liegt in stochastischen Prozessen . Als Faustregel gilt: Wenn ein Modell eine Zufallsvariable hat, ist es stochastisch. Stochastische Modelle können sogar einfache unabhängige Zufallsvariablen sein.

Lassen Sie uns eine weitere Terminologie auspacken, die Ihnen hilft, die Literatur zu statistischen Modellen (deterministisch, stochastisch oder auf andere Weise ...) zu verstehen:

Stochastische Modelle müssen keine zeitabhängigen oder gar Markov-Prozesse sein (abhängig von früheren Zuständen, zum Beispiel ist Markov erster Ordnung, da es vom Zustand bei abhängt ). Das lineare Modell, das Sie oben gestellt haben, ist stochastisch (hat eine Zufallsvariable), aber nicht Markov (hängt nicht von früheren Zuständen ab). In dem in der Frage gestellten linearen Modell ist der Fehlerterm eine Zufallsvariable, von der wir annehmen , dass sie nicht korreliert ist (einige Leute geben weiter an, dass der Fehler iid ist), symmetrisch verteilt über den Mittelwert (einige Leute gehen weiter, um anzugeben, dass der Fehler normal ist verteilt) und Mittelwert Null ( ) usw. Wir treffen diese Annahmen, um das lineare Modell für die Schätzung nützlich zu machen $AR(1)$ $t-1$ $\mu_{\epsilon_t}=0$ die abhängige (n) Variable (n) durch Minimieren einer Norm dieses Fehlerterms. Diese Annahmen ermöglichen es uns, nützliche Eigenschaften von Schätzern abzuleiten und zu beweisen, dass bestimmte Schätzer unter diesen Annahmen die besten sind. Zum Beispiel, dass der OLS-Schätzer BLAU ist .

Ein einfacheres Beispiel für ein stochastisches Modell ist das Umwerfen einer fairen Münze (Kopf oder Zahl), die stochastisch als gleichmäßig verteilte binäre Zufallsvariable oder als Bernoulli-Prozess modelliert werden kann . Sie können den Münzwurf auch als physikalisches System betrachten und ein deterministisches Modell (in einer idealisierten Umgebung) erstellen, wenn Sie die Form der Münze, den Winkel und die Kraft des Aufpralls, den Abstand zur Oberfläche usw. berücksichtigen Das letztere (physikalische) Modell des Münzwurfs enthält keine Zufallsvariablen (z. B. berücksichtigt es keinen Messfehler einer der Eingaben in das Modell), dann ist es deterministisch.

In der Statistik gibt es einen gemeinsamen Punkt der Verwechslung zwischen Stochastizität und Heteroskedastizität . Zum Beispiel hat Ken T Stochastizität mit Heteroskedastizität (oder Variabilität der Varianz) verwechselt. Eine zufällige (stochastische) Variable, wie die Ausgabevariable eines -Prozesses oder in einem linearen Modell , ist heteroskedastisch, wenn sich ihre Varianz über eine Eingabe wie die Zeit ( ) in ändert in diesem Fall, so dass verschiedene Gruppen innerhalb der Bevölkerung unterschiedliche Varianzen haben. In dem Video, das Ken T verlinkt hat (von Ben Lambert), können Sie sehen, wenn Sie es um 4:00 (4 Minuten) pausieren. $X_t$ $AR(1)$ $\epsilon_t$ $y_t = ax_t+\epsilon_t$ $t$ $Var[X_t]$ im Modell auf der rechten Seite ändert sich mit (heteroskedastisch), während im linearen Modell konstant ist (homoskedastisch). $t$ $Var[X_t]$

Darüber hinaus gibt es manchmal Verwechslungen zwischen stationären stochastischen Prozessen und instationären stochastischen Prozessen. Stationarität bedeutet, dass sich Statistiken wie Mittelwert oder Varianz im Modell im Laufe der Zeit nicht ändern. Beide gelten weiterhin als stochastische Modelle / Prozesse, solange es sich um Zufälligkeiten handelt. Wie sein Landsmann Matthew Gunn in seiner Antwort erwähnt, besagt Wolds Zerlegung , dass jeder stationäre stochastische Prozess als die Summe eines deterministischen und eines stochastischen Prozesses geschrieben werden kann.

ich mache
quelle

Gute Antwort! Eine Frage: Warum schreiben Sie "... wenn sich die Varianz über einen Parameter ändert ...", sollte dies nicht über eine Variable (oder eine Funktion einer Variablen) geändert werden?

Alexis

@Alexis Ich bezog mich auf die Zeit als Parameter des Modells. Sie haben Recht, diese Sprache ist ungenau. Fest. Vielen Dank. :-)

ido

Wie ändert sich die Varianz von AR (1)?

Aksakal

@Aksakal ändert sich nicht mit der Zeit und ist , aber für if ... ( bezieht sich auf das von Ken T. als solches beschriebene Modell)

V a r [ε_{t}]

$Var[\varepsilon_t]$

σ^{2}

$\sigma^2$

V a r [X_{t}] = t σ^{2}

$Var[X_t] = t\sigma^2$

X_{t} = α + X_{t - 1} + ε_{t}

$X_t = \alpha + X_{t-1} + \varepsilon_t$

ε_{t} \sim N (0, σ^{2})

$\varepsilon_t \sim N(0, \sigma^2)$

A R (1)

$AR(1)$

ido

Zeigen Sie die Arbeit nur weiter, falls Sie danach gefragt haben: Aksakal: und ist konstant, weil iid oder zumindest unkorreliert ist. Es versteht sich auch von selbst, aber da iid .

V a r [X_{t}] = V a r [X_{t - 1}] + V a r [ε_{t}] = \sum_{i = 1}^{t} V a r [ε_{i}] = t σ^{2}

$Var[X_t] = Var[X_{t-1}] + Var[\varepsilon_t] = \sum_{i=1}^{t} Var[\varepsilon_i] = t\sigma^2$

V a r [ε_{i}] = σ^{2}

$Var[\varepsilon_i] = \sigma^2$

ε_{t}

$\varepsilon_t$

ε_{t}

$\varepsilon_t$

C o v [X_{t}, X_{t - 1}] = 0

$Cov[X_t, X_{t-1}] = 0$

Ido

Einige informelle Definitionen

Eine deterministische Zeitreihe kann nur als Funktion der Zeit geschrieben werden. Es gibt keine Zufälligkeit. Einige Beispiele:
- $y(t) = 2t$
- $y(t) = e^t$
Ein stochastischer Prozess $\{Y_t\}$ ist eine Reihe von Zufallsvariablen. Denken Sie daran, dass eine Zufallsvariable eine Funktion von einem Probenraum zu einem Ergebnis ist. Ein stochastischer Prozess ist eine Funktion sowohl der Zeit als auch eines Ergebnisses aus dem Probenraum . Beispiele: $\Omega$ $Y(t,\omega)$ $t$ $\omega$ $\Omega$
- $y_t = \epsilon_t$ wobei (dh folgt der Standardnormalverteilung) $\epsilon_t \sim \mathcal{N}(0, 1)$
- $y_t = .7 y_{t-1} + \epsilon_t$
Sie können sich einen stochastischen Prozess auch als deterministischen Pfad für jedes Ergebnis im Probenraum vorstellen . Zeichne zufällig ein und du erhältst einen Pfad . $\omega$ $\Omega$ $\omega \in \Omega$ $Y_t(\omega)$

Einige Kommentare...

... AR (1) als stochastisches Modell zu bezeichnen, liegt darin, dass seine Varianz mit der Zeit zunimmt.

Das ist nicht der Grund! Der Grund, warum ein AR (1) einen stochastischen Prozess definiert, ist, dass der Prozess zufällig ist. Zum Zeitpunkt sind unterschiedliche Werte möglich , daher ist der Prozess stochastisch. $t$

Ich denke auch nicht, dass ein einfaches lineares Modell völlig deterministisch ist, da dem Modell ein Term zugeordnet ist. $\epsilon_t$

Das Sie dort geschrieben haben, ist nicht deterministisch. Wenn Sie eine Zeitreihe hatte verarbeiten wo ist ein weißes Rauschen Prozess , dann die Zeitreihe wäre nicht deterministisch sein. Es ist stochastisch, weil es Zufälligkeit gibt! $x_t$ $x_t = \alpha t + \epsilon_t$ $\{\epsilon_t\}$ $\{x_t\}$

Die Zeitreihe wäre deterministisch. Sie können in zwei Komponenten zerlegen: eine deterministische Komponente und eine stochastische Komponente . $y_t = \alpha t$ $\{x_t\}$ $\alpha t$ $\epsilon_t$

Dies führt zu Wolds Theorem, dass jeder stationäre Kovarianzprozess eindeutig in eine deterministische Komponente und eine stochastische Komponente zerlegt werden kann.

Matthew Gunn
quelle