Zentraler Grenzwertsatz für Markov-Ketten

$\newcommand{\E}{\mathbb{E}}$ $\newcommand{\P}{\mathbb{P}}$ Der zentrale Grenzwertsatz (CLT) besagt, dass für unabhängig und identisch verteilt (iid) mit und , die Summe konvergiert zu einer Normalverteilung als : $X_1,X_2,\dots$ $\E[X_i]=0$ $\operatorname{ Var} (X_i)<\infty$ $n\to\infty$

\sum_{ich = 1}^{n} {X.}_{ich} \to N. (0, \sqrt{n}) .

$\sum_{i=1}^n X_i \to N\left(0, \sqrt{n}\right).$

Nehmen wir stattdessen an, dass eine endliche Markov-Kette mit einer stationären Verteilung mit Erwartung 0 und begrenzter Varianz bilden. Gibt es für diesen Fall eine einfache Erweiterung von CLT? $X_1,X_2,\dots$ $\P_\infty$

Die Artikel, die ich über CLT für Markov-Ketten gefunden habe, behandeln im Allgemeinen viel allgemeinere Fälle. Ich wäre sehr dankbar für einen Hinweis auf das relevante allgemeine Ergebnis und eine Erklärung, wie es gilt.

markov-process central-limit-theorem tom4everitt
quelle

In Lin und Tegmarks Artikel Critical Behaviour from Deep Dynamics werden die "Einschränkungen * von Markov-Prozessen und -Analysen ... hier verfügbar ... ai2-s2-pdfs.s3.amazonaws.com/5ba0/…

Mike Hunter

Antworten:

Die Antwort von Alex R. ist fast ausreichend, aber ich füge noch ein paar Details hinzu. In On the Markov Chain Central Limit Theorem - Galin L. Jones heißt es in Satz 9:

Wenn $X$ eine ergodische Harris-Markov-Kette mit stationärer Verteilung $\pi$ , gilt eine CLT für $f$ wenn gleichmäßig ergodisch und . $X$ $E[f^2] < \infty$

Für endliche Zustandsräume sind alle irreduziblen und aperiodischen Markov-Ketten gleichmäßig ergodisch. Der Beweis dafür ist ein beträchtlicher Hintergrund in der Markov-Kettentheorie. Eine gute Referenz würde 32 Page sein, am Ende von Satz 18 hier .

Daher würde die Markov-Kette CLT für jede Funktion , die einen endlichen zweiten Moment hat. Die Form des CLT wird wie folgt beschrieben. $f$

Sei der zeitgemittelte Schätzer von , dann, wie Alex R. als ausführt , $\bar{f}_n$ $E_{\pi}[f]$ $n \to \infty$

{\bar{f}}_{n} = \frac{1}{n} \sum_{i = 1}^{n} f (X_{i}) \overset{a.s.}{\to} E_{π} [f] .

$\bar{f}_n = \frac{1}{n} \sum_{i=1}^n f(X_i) \overset{\text{a.s.}}{\to} E_\pi[f].$

Die Markov-Kette CLT ist

\sqrt{n} ({\bar{f}}_{n} - - {E.}_{π} [f]]) \overset{d}{\to} N. (0, σ^{2}),

$\sqrt{n} (\bar{f}_n - E_\pi[f]) \overset{d}{\to} N(0, \sigma^2),$

wobei

σ^{2} = \underset{Expected term}{\underset{⏟}{{Var}_{π} (f (X_{1}))}} + \underset{Term due to Markov chain}{\underset{⏟}{2 \sum_{k = 1}^{\infty} {Cov}_{π} (f (X_{1}), f (X_{1 + k}))}} .

$\sigma^2 = \underbrace{\operatorname{Var}_\pi(f(X_1))}_\text{Expected term} + \underbrace{2 \sum_{k=1}^\infty \operatorname{Cov}_\pi(f(X_1), f(X_{1+k}))}_\text{Term due to Markov chain}.$

Eine Ableitung für den Term $\sigma^2$ finden Sie hier auf Seite 8 und Seite 9 der MCMC-Notizen von Charles Geyer

Greenparker
quelle

Danke, das ist sehr klar! Gibt es ein leichtes Argument dafür, warum endliche, irreduzible und aperiodische Markov-Ketten einheitlich ergodisch sind? (nicht, dass ich dir nicht vertraue ^^).

Tom4everitt

@ tom4everitt Leider ist die Definition von "einfach" subjektiv. Wenn Sie mit Drift- und Minorisierungsbedingungen für Markov-Ketten vertraut sind, ist das Argument einfach. Wenn nicht, wäre es ein langes Argument. Ich werde versuchen, stattdessen eine Referenz zu finden. Könnte eine Weile dauern.

Greenparker

Das wäre fantastisch. Wenn Sie keine finden, sind ein paar Sätze, die auf die Hauptschritte hinweisen, immer noch hilfreich.

Tom4everitt

@ tom4everitt Verweis auf die Antwort hinzugefügt. Hoffe das reicht.

Greenparker

@ Greenparker Könnte ich Sie um Hilfe bitten, um zu verstehen, wie die Varianz in Ihrer Antwort abgeleitet wird. Ich habe die Referenz in Ihrer Antwort durchgesehen, aber dort keine Ableitung gefunden. Ich habe eine Quelle, MC für MCsist, aber ich verstehe nicht ganz, wie sie dort abgeleitet wird. Das heißt, wie wird der Term

abgeleitet? Vielen Dank!

σ^{2}

$\sigma^2$

LeastSquaresWonderer

Das "übliche" Ergebnis für Markov-Ketten ist das Birkhoff-Ergodic-Theorem, das dies besagt

\frac{1}{n} \sum_{ich = 1}^{n} f ({X.}_{ich}) \to {E.}_{π} [f]],

$\frac{1}{n}\sum_{i=1}^nf(X_i)\rightarrow E_{\pi}[f],$

wobei die stationäre Verteilung ist und erfüllt , und die Konvergenz ist fast sicher. $\pi$ $f$ $E|f(X_1)|<\infty$

Leider sind die Schwankungen dieser Konvergenz im Allgemeinen recht schwierig. Dies ist hauptsächlich auf die extreme Schwierigkeit zurückzuführen, die Gesamtvariationsgrenzen dafür herauszufinden, wie schnell zur stationären Verteilung konvergiert . Es sind Fälle bekannt, in denen die Schwankungen analog zur CLT sind, und Sie können einige Bedingungen für die Drift finden , die die Analogie gelten lassen: Zum zentralen Grenzwertsatz der Markov-Kette - Galin L. Jones (siehe Satz 1). $X_i$ $\pi$

Es gibt auch dumme Situationen, zum Beispiel eine Kette mit zwei Zuständen, in denen einer absorbiert (dh und In diesem Fall gibt es keine Schwankungen und Sie erhalten Konvergenz zu einer entarteten Normalverteilung (eine Konstante). $P(1\rightarrow 2)=1$ $P(2\rightarrow 1)=0$

Alex R.
quelle

Ich glaube nicht, dass er nach fast sicherer Konvergenz fragt. Ich denke, er möchte eine Art 'Übersetzung' einiger CLTs zu allgemeinen Räumen: wahrscheinlich eine Erklärung dessen, was die erforderlichen Annahmen im spezifischen Kontext endlicher Zustandsraumketten bedeuten

Taylor,

Vielen Dank. Würde eine normale, schöne Markov-Kette mit endlichem Zustand die Driftbedingung trivial erfüllen? Ich würde mich sogar freuen, wenn ich es nur für eine Kette mit zwei Staaten wüsste, aber es ist mir alles andere als klar, wie ich es beweisen kann.

Tom4everitt