Gibt es Beispiele dafür, wo der zentrale Grenzwertsatz nicht gilt?

Wikipedia sagt -

In der Wahrscheinlichkeitstheorie legt der zentrale Grenzwertsatz (Central Limit Theorem, CLT) fest, dass in den meisten Situationen , wenn unabhängige Zufallsvariablen addiert werden, ihre ordnungsgemäß normalisierte Summe zu einer Normalverteilung tendiert (informell eine "Glockenkurve"), selbst wenn die ursprünglichen Variablen selbst keine sind normal verteilt...

Wenn "in den meisten Situationen" steht, in welchen Situationen funktioniert der zentrale Grenzwertsatz nicht?

Um dies zu verstehen, müssen Sie zuerst eine Version des zentralen Grenzwertsatzes angeben. Hier ist die "typische" Aussage des zentralen Grenzwertsatzes:

Lindeberg – Lévy CLT. Angenommen, ist eine Folge von iid Zufallsvariablen mit und . Sei . Wenn sich Unendlichkeit nähert, konvergieren die Zufallsvariablen in der Verteilung zu einem normalen d. E[ X i ]=μVar[ X i ]= σ 2 <∞ S n := X 1 + ⋯ + X ${X_1, X_2, \dots}$$E[X_i] = \mu$$Var[X_i] = \sigma^2 < \infty$ n$S_{n}:={\frac {X_{1}+\cdots +X_{n}}{n}}$$n$N(0,σ2$\sqrt{n}(S_n − \mu)$$N(0,\sigma^2)$

$${\displaystyle {\sqrt {n}}\left(\left({\frac {1}{n}}\sum _{i=1}^{n}X_{i}\right)-\mu \right)\ {\xrightarrow {d}}\ N\left(0,\sigma ^{2}\right).}$$

Wie unterscheidet sich dies von der informellen Beschreibung und wo liegen die Lücken? Es gibt verschiedene Unterschiede zwischen Ihrer informellen Beschreibung und dieser Beschreibung, von denen einige in anderen Antworten erörtert wurden, jedoch nicht vollständig. Wir können dies also in drei spezifische Fragen umwandeln:

• Was passiert, wenn die Variablen nicht identisch verteilt sind?
• Was ist, wenn die Variablen eine unendliche Varianz oder einen unendlichen Mittelwert haben?
• Wie wichtig ist Unabhängigkeit?

Nehmen Sie diese nacheinander,

Nicht identisch verteilt . Die besten allgemeinen Ergebnisse sind die Lindeberg- und Lyaponov-Versionen des zentralen Grenzwertsatzes. Grundsätzlich kann man, solange die Standardabweichungen nicht zu stark anwachsen, einen vernünftigen zentralen Grenzwertsatz daraus ziehen.

Lyapunov CLT. Angenommen, ist eine Folge unabhängiger Zufallsvariablen mit jeweils endlichem Erwartungswert und Varianz Definiere:μ i σ 2 s 2 n = ≤ n i = 1 σ 2 ${X_1, X_2, \dots}$$\mu_i$$\sigma^2$$s_{n}^{2}=\sum _{i=1}^{n}\sigma _{i}^{2}$

Wenn für ein , Lyapunovs Bedingung ist erfüllt, dann ergibt sich eine Summe von konvergiert in der Verteilung zu einer normalen Zufallsvariablen, da n gegen unendlich geht:lim n → ∞ $\delta > 0$${\displaystyle \lim _{n\to \infty }{\frac {1}{s_{n}^{2+\delta }}}\sum_{i=1}^{n}\operatorname {E} \left[|X_{i}-\mu _{i}|^{2+\delta }\right]=0}$$X_i − \mu_i / s_n$

${{\frac {1}{s_{n}}}\sum _{i=1}^{n}\left(X_{i}-\mu_{i}\right)\ {\xrightarrow {d}}\ N(0,1).}$

Unendliche Varianzsätze ähnlich dem zentralen Grenzwertsatz existieren für Variablen mit unendlicher Varianz, aber die Bedingungen sind wesentlich enger als für den üblichen zentralen Grenzwertsatz. Im Wesentlichen muss der Schwanz der Wahrscheinlichkeitsverteilung für asymptotisch zu . In diesem Fall konvergieren entsprechend skalierte Summanden zu einer stabilen Levy-Alpha- Verteilung. 0 < α < $|x|^{-\alpha-1}$$0 < \alpha < 2$

Wichtigkeit der Unabhängigkeit Es gibt viele verschiedene zentrale Grenzwertsätze für nicht unabhängige Folgen von . Sie sind alle sehr kontextbezogen. Wie Batman betont, gibt es eine für Martingales. Diese Frage ist ein fortlaufendes Forschungsgebiet mit vielen, vielen unterschiedlichen Variationen, abhängig vom spezifischen Kontext des Interesses. Diese Frage zu Math Exchange ist ein weiterer Beitrag zu dieser Frage.$X_i$

Obwohl ich mir ziemlich sicher bin, dass es schon einmal beantwortet wurde, ist hier noch eines:

Es gibt mehrere Versionen des zentralen Grenzwertsatzes, wobei die allgemeinste darin besteht, dass bei beliebigen Wahrscheinlichkeitsdichtefunktionen die Summe der Variablen normal verteilt wird, wobei der Mittelwert gleich der Summe der Mittelwerte ist und die Varianz die Summe ist der einzelnen Varianzen.

Eine sehr wichtige und relevante Einschränkung ist, dass der Mittelwert und die Varianz der angegebenen PDFS existieren müssen und endlich sein müssen.

Nehmen Sie also einfach ein PDF ohne Mittelwert oder Varianz - und der zentrale Grenzwertsatz wird nicht mehr gültig sein. Nehmen Sie zum Beispiel eine Lorentzsche Verteilung.

Nein, CLT gilt immer dann, wenn seine Annahmen zutreffen. Qualifikationen wie "in den meisten Situationen" sind informelle Verweise auf die Bedingungen, unter denen CLT angewendet werden sollte.

Beispielsweise ergibt eine lineare Kombination unabhängiger Variablen aus der Cauchy-Verteilung keine normalverteilte Variable . Einer der Gründe ist, dass die Varianz für die Cauchy-Verteilung undefiniert ist , während CLT bestimmte Bedingungen an die Varianz stellt, z. B. dass sie endlich sein muss. Eine interessante Folgerung ist, dass Monte-Carlo-Simulationen, die durch CLT motiviert sind, mit Monte-Carlo-Simulationen vorsichtig sein müssen, wenn es um Verteilungen mit Fettschwänzen wie Cauchy geht.

Beachten Sie, dass es eine verallgemeinerte Version von CLT gibt. Es funktioniert für unendliche oder undefinierte Varianzen, wie z. B. die Cauchy-Verteilung. Im Gegensatz zu vielen gut funktionierenden Verteilungen bleibt die ordnungsgemäß normalisierte Summe der Cauchy-Zahlen Cauchy. Es konvergiert nicht zu Gauß.

Übrigens haben nicht nur Gaussian, sondern viele andere Distributionen glockenförmige PDFs, z. B. Student t. Deshalb ist die von Ihnen zitierte Beschreibung ziemlich liberal und ungenau, vielleicht mit Absicht.

Hier ist eine Illustration der Antwort von Cherub, ein Histogramm von 1e5, das aus skalierten (nach ) Stichprobenmitteln von t-Verteilungen mit zwei Freiheitsgraden erstellt wurde, sodass die Varianz nicht existiert .$\sqrt{n}$

Wenn die CLT zutrifft, sollte das Histogramm für so groß wie ist, der Dichte einer Standardnormalverteilung ähneln (die z. B. eine Dichte von in ihrer Spitze aufweist). was es offenbar nicht tut.$n$$n=1000$$1/\sqrt{2\pi}\approx0.4$

library(MASS)
n <- 1000
samples.from.t <- replicate(1e5, sqrt(n)*mean(rt(n, df = 2)))
truehist(samples.from.t, xlim = c(-10,10), col="salmon")

Ein einfacher Fall, in dem die CLT aus sehr praktischen Gründen nicht gelten kann, ist, wenn sich die Folge von Zufallsvariablen ihrer Wahrscheinlichkeitsgrenze streng von einer Seite nähert . Dies tritt beispielsweise bei Schätzern auf, die etwas schätzen, das an einer Grenze liegt.

Das Standardbeispiel ist hier vielleicht die Schätzung von thgr in einer Stichprobe von iid-Uniformen thgr . Der Maximum - Likelihood - Schätzer wird die maximale Ordnungsstatistik sein, und es wird nähern notwendigerweise nur von unten: naiv denken, da ihre Wahrscheinlichkeit Grenze sein wird , kann der Schätzer nicht eine Verteilung hat „um“ - und die CLT ist Weg.$\theta$$U(0,\theta)$$\theta$$\theta$$\theta$

Der richtig skalierte Schätzer hat eine begrenzende Verteilung - jedoch nicht die "CLT-Sorte".

Hier finden Sie eine schnelle Lösung .

Ausnahmen zum zentralen Grenzwertsatz ergeben sich

1. Bei mehreren Maxima gleicher Höhe und
2. Wo die zweite Ableitung maximal verschwindet.

Es gibt bestimmte andere Ausnahmen, die in der Antwort von @cherub aufgeführt sind.

Dieselbe Frage wurde bereits bei math.stackexchange gestellt . Dort können Sie die Antworten überprüfen.