Wann versagt das Gesetz der großen Zahlen?

13

Die Frage ist nur, was im Titel steht: Wann versagt das Gesetz der großen Zahlen? Ich meine, in welchen Fällen entspricht die Häufigkeit eines Ereignisses nicht der theoretischen Wahrscheinlichkeit?

Emanuele
quelle

Antworten:

10

Es gibt zwei Theoreme (von Kolmogorov) und beide erfordern, dass der erwartete Wert endlich ist. Die erste gilt, wenn die Variablen IID sind, die zweite, wenn die Abtastung unabhängig ist und die Varianz von Xn erfüllt ist

n=1V(Xn)n2<

Angenommen, alle Xn haben den erwarteten Wert 0, aber ihre Varianz ist n2 so dass die Bedingung offensichtlich fehlschlägt. Was passiert dann? Sie können immer noch einen geschätzten Mittelwert berechnen, aber dieser Mittelwert tendiert nicht zu 0, wenn Sie tiefer und tiefer sampeln. Es wird dazu neigen, mehr und mehr abzuweichen, wenn Sie die Probenahme fortsetzen.

Nennen wir ein Beispiel. Angenommen, ist einheitlich U ( - n 2 n , n 2 n ), so dass die obige Bedingung episch versagt.XnU(n2n,n2n)

n=1V(Xn)n2=n=1n222n+2121n2=13n=14n=.

Indem ich das feststelle

X¯n=Xnn+n1nX¯n1,

wir sehen durch Induktion, dass der berechnete Durchschnitt immer innerhalb des Intervalls liegt ( - 2 n , 2 n ) . Durch die Verwendung der gleichen Formel für n + 1 sehen wir auch , dass es immer eine Wahrscheinlichkeit von mehr als 1 / 8 daß ˉ X n + 1 liegt außerhalb ( - 2 n , 2 n ) . In der Tat ist X n + 1X¯n(2n,2n)n+11/8X¯n+1(2n,2n) ist einheitlichU(-2n+1,2n+1)und liegt außerhalb(-2n,2n)mitWahrscheinlichkeit1/4. Auf der anderen Seite,nXn+1n+1U(2n+1,2n+1)(2n,2n)1/4istin(-2n,2n)durch Induktion, und durch Symmetrie ist es positiv mitWahrscheinlichkeit1/2. Aus diesen Beobachtungen folgt sofortdaß ˉ X n+1größer als2noder kleinerals-2n,jeweils mit einer Wahrscheinlichkeitgrößer als1/16. Da die Wahrscheinlichkeit, dass| ˉ X n+1| >nn+1X¯n(2n,2n)1/2X¯n+12n2n1/16 größerals 1 / 8 , kann es keine Konvergenz zu 0, wie n gegen unendlich geht.|X¯n+1|>2n1/8n

Nun, um speziell Ihre Frage zu beantworten, sollten Sie ein Ereignis . Wenn ich es richtig verstanden habe, fragst du: "Unter welchen Bedingungen ist die folgende Aussage falsch?"A

limn1nk=1n1A(Xk)=P(XA),[P]a.s.

Dabei ist die Indikatorfunktion des Ereignisses A , dh 1 A ( X k ) = 1, wenn X kA und 0 ist, und die X k sind identisch verteilt (und wie X verteilt ).1AA 1A(Xk)=1XkA0XkX

Wir sehen, dass die obige Bedingung gilt, da die Varianz einer Indikatorfunktion oben durch 1/4 begrenzt ist, was die maximale Varianz einer Bernouilli 0-1-Variablen ist. Was jedoch schief gehen kann, ist die zweite Annahme des starken Gesetzes der großen Zahlen, nämlich die unabhängige Abtastung . Wenn die Zufallsvariablen nicht unabhängig abgetastet werden, ist die Konvergenz nicht gewährleistet.Xk

Wenn beispielsweise = X 1 für alle k ist, dann ist das Verhältnis entweder 1 oder 0, unabhängig vom Wert von n , so dass keine Konvergenz auftritt (es sei denn, A hat natürlich die Wahrscheinlichkeit 0 oder 1). Dies ist ein falsches und extremes Beispiel. Mir sind keine praktischen Fälle bekannt, in denen eine Konvergenz mit der theoretischen Wahrscheinlichkeit nicht eintreten wird. Die Möglichkeit besteht jedoch, wenn die Probenahme nicht unabhängig ist.XkX1knA

gui11aume
quelle
Ein Kommentar. Auf Wikipedia (inl Seite) habe ich gelesen, dass die Nichtendlichkeit der Varianz nur die Konvergenz des Mittelwertes verlangsamt. Unterscheidet sich von dem, was Sie sagen?
Emanuele
2
Besprechen Sie zwei dasselbe Gesetz? Die Frage fragt nach der Häufigkeit von Ereignissen, während sich diese Antwort auf die Stichprobenverteilung eines Mittelwerts zu konzentrieren scheint . Obwohl es einen Zusammenhang gibt, ist er meines Erachtens hier noch nicht explizit aufgetaucht.
Whuber
@whuber Wahr. Ich habe mich zu sehr auf den Titel der Frage konzentriert. Danke für den Hinweis. Ich habe die Antwort aktualisiert.
gui11aume
@ gui11aume Ich verstehe nicht "Wir sehen, dass die obige Bedingung gilt, weil die Varianz einer Indikatorfunktion oben durch 1/4 begrenzt ist." Was bedeutet das?
Emanuele
1
Wenn sie identisch verteilt, aber nicht unabhängig sind, besteht die fragliche Grenze möglicherweise überhaupt nicht.
Kardinal