Wahrscheinlichkeitskonvergenz vs. fast sichere Konvergenz

Ich habe den Unterschied zwischen diesen beiden Konvergenzmaßen noch nie richtig herausgefunden. (Oder in der Tat eine der verschiedenen Arten der Konvergenz, aber ich erwähne diese beiden besonders wegen der schwachen und starken Gesetze für große Zahlen.)

Klar, ich kann die Definition von jedem zitieren und ein Beispiel geben, wo sie sich unterscheiden, aber ich verstehe es immer noch nicht ganz.

Was ist ein guter Weg, um den Unterschied zu verstehen? Warum ist der Unterschied wichtig? Gibt es ein besonders einprägsames Beispiel, in dem sie sich unterscheiden?

Aus meiner Sicht ist der Unterschied wichtig, aber größtenteils aus philosophischen Gründen. Angenommen, Sie haben ein Gerät, das sich mit der Zeit verbessert. Jedes Mal, wenn Sie das Gerät verwenden, ist die Wahrscheinlichkeit eines Ausfalls geringer als zuvor.

Die Wahrscheinlichkeitskonvergenz besagt, dass die Ausfallwahrscheinlichkeit auf Null sinkt, wenn die Anzahl der Nutzungen auf unendlich steigt. Nachdem Sie das Gerät viele Male benutzt haben, können Sie sicher sein, dass es richtig funktioniert. Es kann immer noch scheitern, es ist nur sehr unwahrscheinlich.

Die Konvergenz ist mit ziemlicher Sicherheit etwas stärker. Es heißt, dass die Gesamtzahl der Ausfälle endlich ist . Das heißt, wenn Sie die Anzahl der Fehler zählen, während die Anzahl der Verwendungen unendlich ist, erhalten Sie eine endliche Zahl. Dies hat folgende Auswirkungen: Wenn Sie das Gerät mehr und mehr verwenden, werden Sie nach einer begrenzten Anzahl von Einsätzen alle Fehler ausschöpfen. Ab dann funktioniert das Gerät einwandfrei .

Wie Srikant ausführt, wissen Sie eigentlich nicht, wann Sie alle Fehler ausgeschöpft haben. Aus rein praktischer Sicht gibt es also keinen großen Unterschied zwischen den beiden Konvergenzmodi.

Ich persönlich bin jedoch sehr froh, dass zum Beispiel das starke Gesetz der großen Zahlen existiert und nicht nur das schwache Gesetz. Denn ein wissenschaftliches Experiment, um beispielsweise die Lichtgeschwindigkeit zu ermitteln, ist berechtigt, Mittelwerte zu bilden. Zumindest theoretisch können Sie, nachdem Sie genügend Daten erhalten haben, der wahren Lichtgeschwindigkeit beliebig nahe kommen. Bei der Mittelwertbildung treten keine (jedoch unwahrscheinlichen) Fehler auf.

Lassen Sie mich klarstellen, was ich unter (jedoch unwahrscheinlichen) Fehlern im Mittelungsprozess verstehe. Wählen Sie einige beliebig klein. Sie erhalten Schätzungen der Lichtgeschwindigkeit (oder einer anderen Größe), die einen "wahren" Wert hat, beispielsweise . Sie berechnen den Durchschnitt Wenn wir mehr Daten erhalten ( erhöht sich), können wir für jedes berechnen . Das schwache Gesetz besagt (unter einigen Annahmen über das ), dass die Wahrscheinlichkeit als zu$\delta > 0$$n$$X_1,X_2,\dots,X_n$$\mu$

$$S_n = \frac{1}{n}\sum_{k=1}^n X_k.$$ $n$$S_n$$n = 1,2,\dots$$X_n$ $$P(|S_n - \mu| > \delta) \rightarrow 0$$ $n$$\infty$. Das starke Gesetz besagt, dass die , mit derist größer als ist endlich (mit Wahrscheinlichkeit 1). Das heißt, wenn wir die Indikatorfunktion , die eins zurückgibt, wenn und ansonsten Null, dann konvergiert . Dies gibt Ihnen ein beträchtliches Vertrauen in den Wert von , weil es (dh mit Wahrscheinlichkeit 1) die Existenz eines endlichen garantiert, so dass für alle (dh der Durchschnitt fällt nie für$|S_n - \mu|$$\delta$$I(|S_n - \mu| > \delta)$$|S_n - \mu| > \delta$ $$\sum_{n=1}^{\infty}I(|S_n - \mu| > \delta)$$ $S_n$$n_0$$|S_n - \mu| < \delta$$n > n_0$$n > n_0$). Beachten Sie, dass das schwache Gesetz keine solche Garantie gibt.

Ich weiß, dass diese Frage bereits beantwortet wurde (und meiner Meinung nach ganz gut), aber es gab hier eine andere Frage , die einen Kommentar @NRH enthielt, der die grafische Erklärung erwähnte, und statt die Bilder dorthin zu bringen , scheint sie passender zu sein setzen sie hier.

Also, hier geht. Es ist nicht so cool wie ein R-Paket. Es ist jedoch eigenständig und erfordert kein Abonnement für JSTOR.

Im Folgenden geht es um einen einfachen Zufallsrundgang, mit gleicher Wahrscheinlichkeit, und wir berechnen laufende Durchschnitte, $X_{i}= \pm 1$

$$\frac{S_{n}}{n} = \frac{1}{n}\sum_{i = 1}^{n}X_{i},\quad n=1,2,\ldots.$$

Die SLLN (Konvergenz mit ziemlicher Sicherheit) besagt, dass wir zu 100% sicher sein können, dass diese Kurve, die sich nach rechts erstreckt, irgendwann für immer (nach rechts) vollständig in die Bänder fällt.

Der R-Code, der zum Generieren dieses Diagramms verwendet wird, ist unten angegeben (die Plotbezeichnungen wurden der Kürze halber weggelassen).

n <- 1000;  m <- 50; e <- 0.05
s <- cumsum(2*(rbinom(n, size=1, prob=0.5) - 0.5))
plot(s/seq.int(n), type = "l", ylim = c(-0.4, 0.4))
abline(h = c(-e,e), lty = 2)

---

Die WLLN (Konvergenz der Wahrscheinlichkeit) besagt, dass sich ein großer Teil der Abtastpfade zum Zeitpunkt in den Bändern auf der rechten Seite befindet (für das Obige sieht es nach etwa 48 oder 9 von 50 aus). Wir können nie sicher sein, dass eine bestimmte Kurve zu einem bestimmten Zeitpunkt innen sein wird, aber die Masse der Nudeln darüber zu betrachten, wäre eine ziemlich sichere Sache. Die WLLN sagt auch, dass wir den Anteil der Nudeln im Inneren so nah wie möglich an 1 bringen können, indem wir die Handlung ausreichend breit machen.$n$

Es folgt der R-Code für das Diagramm (wiederum das Überspringen von Bezeichnungen).

x <- matrix(2*(rbinom(n*m, size=1, prob=0.5) - 0.5), ncol = m)
y <- apply(x, 2, function(z) cumsum(z)/seq_along(z))
matplot(y, type = "l", ylim = c(-0.4,0.4))
abline(h = c(-e,e), lty = 2, lwd = 2)

Ich verstehe es wie folgt:

Konvergenz der Wahrscheinlichkeit

Die Wahrscheinlichkeit, dass die Folge von Zufallsvariablen gleich dem Zielwert ist, nimmt asymptotisch ab und nähert sich 0, erreicht jedoch niemals tatsächlich 0.

Fast sichere Konvergenz

Die Folge von Zufallsvariablen entspricht asymptotisch dem Zielwert, Sie können jedoch nicht vorhersagen, an welchem ​​Punkt dies geschehen wird.

Fast sicher ist Konvergenz eine stärkere Bedingung für das Verhalten einer Folge von Zufallsvariablen, da sie besagt, dass "auf jeden Fall etwas passieren wird" (wir wissen nur nicht wann). Im Gegensatz dazu stochastische Konvergenz heißt es, dass die Wahrscheinlichkeit von „während etwas wahrscheinlich geschehen ist“ „etwas nicht verringert asymptotisch passiert“ , aber nie erreicht tatsächlich 0. (etwas eine Folge von Zufallsvariablen konvergieren auf einen bestimmten Wert).$\equiv$

Das Wiki enthält einige Beispiele für beides, die zur Klärung des oben Gesagten beitragen sollen (siehe insbesondere das Beispiel des Bogenschützen im Kontext der Probenkonvergenz und das Beispiel der Wohltätigkeit im Kontext der fast sicheren Konvergenz).

Aus praktischer Sicht ist eine Konvergenz der Wahrscheinlichkeit ausreichend, da wir uns nicht besonders um sehr unwahrscheinliche Ereignisse kümmern. Beispielsweise ist die Konsistenz eines Schätzers im Wesentlichen eine Konvergenz der Wahrscheinlichkeit. Wenn wir also eine konsistente Schätzung verwenden, erkennen wir implizit die Tatsache an, dass es bei großen Stichproben eine sehr geringe Wahrscheinlichkeit gibt, dass unsere Schätzung weit vom wahren Wert entfernt ist. Wir leben mit diesem "Fehler" der Konvergenz der Wahrscheinlichkeit, da wir wissen, dass asymptotisch die Wahrscheinlichkeit, dass der Schätzer weit von der Wahrheit entfernt ist, verschwindend gering ist.

Wenn Sie visuelle Erklärungen mögen, gibt es im American Statistician (siehe unten) einen netten Artikel über 'Teacher's Corner' zu diesem Thema. Als Bonus legten die Autoren ein R-Paket bei , um das Lernen zu erleichtern.

@article{lafaye09,
  title={Understanding Convergence Concepts: A Visual-Minded and Graphical Simulation-Based Approach},
  author={Lafaye de Micheaux, P. and Liquet, B.},
  journal={The American Statistician},
  volume={63},
  number={2},
  pages={173--178},
  year={2009},
  publisher={ASA}
}

Dieser letzte Typ erklärt es sehr gut. Wenn Sie eine Folge von Zufallsvariablen Xn = 1 mit Wahrscheinlichkeit 1 / n und sonst Null nehmen. Es ist leicht zu sehen, dass Grenzen genommen werden, die mit einer Wahrscheinlichkeit gegen Null konvergieren, aber fast sicher nicht konvergieren. Wie er sagte, ist es wahrscheinlich egal, ob wir irgendwann einen kriegen. Mit ziemlicher Sicherheit.

Mit ziemlicher Sicherheit bedeutet dies Konvergenz der Wahrscheinlichkeit, aber nicht umgekehrt.

Eine Sache, die mir geholfen hat, den Unterschied zu begreifen, ist die folgende Äquivalenz

∀ ε > $P({\lim_{n\to\infty}|X_n-X|=0})=1 \Leftarrow \Rightarrow \lim_{n\to\infty}({\sup_{m>=n}|X_m-X|>\epsilon })=0$ $\forall \epsilon > 0$

Im Vergleich stochastische Konvergenz:

∀ ϵ > $\lim_{n\to\infty}P(|X_n-X|>\epsilon) = 0$ $\forall \epsilon >0$

Wenn man die rechte Seite der oberen Äquivlanz mit der stochastischen Konvergenz vergleicht, wird der Unterschied meiner Meinung nach deutlicher.