Was ist der Unterschied zwischen "begrenzenden" und "stationären" Verteilungen?

Ich mache eine Frage zu Markov-Ketten und die letzten beiden Teile sagen Folgendes:

• Besitzt diese Markov-Kette eine begrenzende Verteilung? Wenn Ihre Antwort "Ja" ist, finden Sie die Grenzverteilung. Wenn Sie mit "Nein" antworten, erklären Sie, warum.
• Besitzt diese Markov-Kette eine stationäre Verteilung? Wenn Ihre Antwort "Ja" ist, finden Sie die stationäre Verteilung. Wenn Sie mit "Nein" antworten, erklären Sie, warum.

Was ist der Unterschied? Früher dachte ich, die Grenzverteilung wäre, als Sie sie mit berechnet haben, aber dies ist die -te Stufen-Übergangsmatrix. Sie berechneten die Grenzverteilung mit , was ich für die stationäre Verteilung hielt. n Π = Π $P = CA^n C^{-1}$$n$$\Pi = \Pi P$

Welches ist welches dann?

Aus einer Einführung in die stochastische Modellierung von Pinsky und Karlin (2011):

Eine Grenzverteilung ist, wenn sie existiert, immer eine stationäre Verteilung, aber das Gegenteil ist nicht der Fall. Es kann eine stationäre Verteilung existieren, aber keine einschränkende Verteilung. Beispielsweise gibt es keine einschränkende Verteilung für die periodische Markov-Kette, deren Übergangswahrscheinlichkeitsmatrix aber ist eine stationäre Verteilung, da (S. 205). π = (

$$\mathbf{P}=\left\|\begin{matrix}0 & 1\\1 & 0\end{matrix}\right\|$$ $\pi=\left(\frac{1}{2},\frac{1}{2}\right)$ $$\left(\frac{1}{2},\frac{1}{2}\right)\left\|\begin{matrix}0 & 1\\1 & 0\end{matrix}\right\|=\left(\frac{1}{2},\frac{1}{2}\right)$$

In einem frühen Abschnitt hatten sie bereits eine „definierte Begrenzung Wahrscheinlichkeitsverteilung “ durch$\pi$

$$\lim_{n\rightarrow\infty}P_{ij}^{(n)}=\pi_j~\mathrm{for}~j=0,1,\dots,N$$

und gleichwertig

$$\lim_{n\rightarrow\infty}\operatorname{Pr}\{X_n=j|X_0=i\}=\pi_j>0~\mathrm{for}~j=0,1,\dots,N$$ (p. 165).

Das obige Beispiel oszilliert deterministisch und weist daher keine Begrenzung auf, wie die Sequenz keine Begrenzung aufweist.$\{1,0,1,0,1,\dots\}$

---

Sie stellen fest, dass eine reguläre Markov-Kette (in der alle n-Stufen-Übergangswahrscheinlichkeiten positiv sind) immer eine begrenzende Verteilung aufweist und dass es sich um die eindeutige nichtnegative Lösung für handeln muss

$$\pi_j=\sum_{k=0}^N\pi_kP_{kj},~~j=0,1,\dots,N,\\ \sum_{k=0}^N\pi_k=1$$ (S. 168 )

Dann schreiben sie auf dieselbe Seite wie im Beispiel

Jede Menge die (4.27) erfüllt, wird als stationäre Wahrscheinlichkeitsverteilung der Markov-Kette bezeichnet. Der Begriff "stationär" leitet sich von der Eigenschaft ab, dass eine Markov-Kette, die gemäß einer stationären Verteilung gestartet wurde, zu jedem Zeitpunkt dieser Verteilung folgt. Formal, wenn , dann für alle . Pr { X 0 = i } = π i Pr { X n = i } = π i n = 1 , 2 , $(\pi_i)_{i=0}^{\infty}$$\operatorname{Pr}\{X_0=i\}=\pi_i$$\operatorname{Pr}\{X_n=i\}=\pi_i$$n=1,2,\dots$

Dabei ist (4.27) die Menge der Gleichungen

$$\pi_i \geq 0, \sum_{i=0}^{\infty} \pi_i=1,~\mathrm{and}~\pi_j = \sum_{i=0}^{\infty} \pi_iP_{ij}.$$

Das ist genau die gleiche Stationaritätsbedingung wie oben, außer jetzt mit einer unendlichen Anzahl von Zuständen.

Mit dieser Definition der Stationarität kann die Aussage auf Seite 168 rückwirkend angepasst werden als:

1. Die Grenzverteilung einer regulären Markov-Kette ist eine stationäre Verteilung.
2. Wenn die Grenzverteilung einer Markov-Kette eine stationäre Verteilung ist, ist die stationäre Verteilung eindeutig.

Eine stationäre Verteilung ist eine solche Verteilung , dass , wenn die Verteilung über Zustände in Schritt ist , dann ist auch die Verteilung über Zustände im Schritt ist . Das heißt, Eine Grenzverteilung ist eine solche Verteilung dass die Verteilung über Zustände unabhängig von der Anfangsverteilung gegen konvergiert als die Anzahl von Schritte gehen bis unendlich: unabhängig vonk π k + 1 π π = π P . π π lim k → ∞ π ( 0 ) P k = π , π ( 0 ) { h e ein d s , t a i l s } P = ( 0 1 1 0 ) . π ( 0 ) = ( 0,5 $\pi$$k$$\pi$$k+1$$\pi$

$$\begin{equation} \pi = \pi P. \end{equation}$$ $\pi$$\pi$ $$\begin{equation} \lim_{k\rightarrow \infty} \pi^{(0)} P^k = \pi, \end{equation}$$ $\pi^{(0)}$. Betrachten wir zum Beispiel eine Markov-Kette, deren zwei Zustände die Seiten einer Münze . Jeder Schritt besteht aus dem Umdrehen der Münze (mit Wahrscheinlichkeit 1). Beachten Sie, dass bei der Berechnung der Zustandsverteilungen keine vorherigen Schritte erforderlich sind, dh, der Typ, der die Wahrscheinlichkeiten berechnet, sieht die Münze nicht. Die Übergangsmatrix lautet also Wenn wir die Münze zuerst durch zufälliges Wenden initialisieren ( ), folgen auch alle folgenden Zeitschritte dieser Verteilung. (Wenn Sie eine faire Münze werfen und dann auf den Kopf stellen, beträgt die Wahrscheinlichkeit für Köpfe immer noch ). Somit,$\{heads, tails\}$ $$\begin{equation} P = \begin{pmatrix} 0 & 1 \\ 1 & 0 \end{pmatrix}. \end{equation}$$ $\pi^{(0)} = \begin{pmatrix}0.5 & 0.5\end{pmatrix}$$0.5$$\begin{pmatrix} 0.5 & 0.5 \end{pmatrix}$ ist eine stationäre Verteilung für diese Markov-Kette.

Diese Kette hat jedoch keine einschränkende Verteilung: Nehmen wir an, wir initialisieren die Münze so, dass sie mit einer Wahrscheinlichkeit von Kopf ist . Da dann alle nachfolgenden Zustände durch den Anfangszustand bestimmt werden, ist der Zustand nach einer geraden Anzahl von Schritten Köpfe mit einer Wahrscheinlichkeit von und nach einer ungeraden Anzahl von Schritten ist der Zustand Köpfe mit einer Wahrscheinlichkeit von . Dies gilt unabhängig davon, wie viele Schritte unternommen werden, sodass die Verteilung über Zustände keine Begrenzung hat.$2/3$$2/3$$1/3$

Nun wollen wir den Prozess so modifizieren, dass man bei jedem Schritt nicht unbedingt die Münze dreht. Stattdessen wirft man einen Würfel und wenn das Ergebnis ist, bleibt die Münze wie sie ist. Diese Markov-Kette hat eine Übergangsmatrix Ohne die Mathematik zu durchlaufen, möchte ich darauf hinweisen, dass dieser Prozess den Anfangszustand „vergisst“, da der Zug zufällig weggelassen wird. Nach einer großen Anzahl von Schritten liegt die Wahrscheinlichkeit von Köpfen nahe bei , selbst wenn wir wissen, wie die Münze initialisiert wurde. Somit hat diese Kette die Grenzverteilung .P = ( 1 / 6 5 / 6 5 / 6 1 / 6 ) . 0,5 ( 0,5 0,5$6$

$$\begin{equation} P = \begin{pmatrix} 1/6 & 5/6 \\ 5/6 & 1/6 \end{pmatrix}. \end{equation}$$ $0.5$$\begin{pmatrix} 0.5 & 0.5 \end{pmatrix}$

Abgesehen von der Schreibweise bedeutet das Wort "stationär" "sobald Sie dort sind, bleiben Sie dort"; während das Wort "einschränken" impliziert, dass Sie irgendwann dorthin gelangen, wenn Sie weit genug gehen. Ich dachte nur, das könnte hilfreich sein.