Betrachten Sie die Summe von

Wir können verschiedene Ansätze verfolgen, von denen jeder für manche Menschen intuitiv und für andere weniger als intuitiv erscheint. Um solchen Variationen Rechnung zu tragen, werden in dieser Antwort verschiedene Ansätze beschrieben, die die Hauptbereiche des mathematischen Denkens abdecken - Analyse (unendlich und unendlich klein), Geometrie / Topologie (räumliche Beziehungen) und Algebra (formale Muster symbolischer Manipulation) - als sowie die Wahrscheinlichkeit selbst. Es gipfelt in einer Beobachtung, die alle vier Ansätze vereint, zeigt, dass hier eine echte Frage zu beantworten ist, und zeigt, worum es genau geht. Jeder Ansatz bietet auf seine Weise einen tieferen Einblick in die Art der Formen der Wahrscheinlichkeitsverteilungsfunktionen von Summen unabhängiger einheitlicher Variablen.

Hintergrund

Die Uniform -Verteilung $[0,1]$ enthält mehrere grundlegende Beschreibungen. Wenn eine solche Verteilung hat, $X$

Die Wahrscheinlichkeit, dass in einer messbaren Menge ist nur das Maß (Länge) von , geschrieben . $X$ $A$ $A \cap [0,1]$ $|A \cap [0,1]|$
Daraus ergibt sich unmittelbar die kumulative Verteilungsfunktion (CDF)

$F_{X} (x) = Pr (X \leq x) = | (- \infty, x] \cap [0, 1] | = | [0, min (x, 1)] | = \begin{array}{ll} {\begin{cases} 0 & x < 0 \\ x & 0 \leq x \leq 1 \\ 1 & x > 1. \end{cases} \end{array}$ $F_X(x) = \Pr(X \le x) = |(-\infty, x] \cap [0,1]| = |[0,\min(x,1)]| = \begin{array}{ll} \left\{ \begin{array}{ll} 0 & x\lt 0 \\ x & 0\leq x\leq 1 \\ 1 & x\gt 1. \end{array}\right. \end{array}$
Die Wahrscheinlichkeitsdichtefunktion (PDF), die die Ableitung der CDF ist, ist für und ansonsten. (Es ist bei und undefiniert .) $f_X(x) = 1$ $0 \le x \le 1$ $f_X(x)=0$ $0$ $1$

Intuition aus charakteristischen Funktionen (Analyse)

Die charakteristische Funktion (CF) jeder Zufallsvariablen ist die Erwartung von (wobei die imaginäre Einheit ist, ). Mit dem PDF einer einheitlichen Verteilung können wir berechnen $X$ $\exp(i t X)$ $i$ $i^2=-1$

ϕ_{X} (t) = \int_{- \infty}^{\infty} \exp (i t x) f_{X} (x) d x = \int_{0}^{1} \exp (i t x) d x = {\frac{\exp (i t x)}{i t} |}_{x = 0}^{x = 1} = \frac{\exp (i t) - 1}{i t} .

$\phi_X(t) = \int_{-\infty}^\infty \exp(i t x) f_X(x) dx = \int_0^1 \exp(i t x) dx = \left. \frac{\exp(itx)}{it} \right|_{x=0}^{x=1} = \frac{\exp(it)-1}{it}.$

Die CF ist eine (Version der) Fourier-Transformation der PDF, . Die grundlegendsten Theoreme über Fourier-Transformationen sind: $\phi(t) = \hat{f}(t)$

Die CF einer Summe von unabhängigen Variablen ist das Produkt ihrer CFs. $X+Y$
Wenn die ursprüngliche PDF stetig ist und begrenzt ist, kann durch eine eng verwandte Version der Fouriertransformation aus der CF wiederhergestellt werden. $f$ $X$ $f$ $\phi$

f (x) = \overset{ˇ}{ϕ} (x) = \frac{1}{2 π} \int_{- \infty}^{\infty} \exp (- i x t) ϕ (t) d t .

$f(x) = \check{\phi}(x) = \frac{1}{2\pi} \int_{-\infty}^\infty \exp(-i x t) \phi(t) dt.$

Wenn differenzierbar ist, kann seine Ableitung unter dem Vorzeichen berechnet werden: $f$

$f^{'} (x) = \frac{d}{d x} \frac{1}{2 π} \int_{- \infty}^{\infty} \exp (- i x t) ϕ (t) d t = \frac{- i}{2 π} \int_{- \infty}^{\infty} t \exp (- i x t) ϕ (t) d t .$ $f'(x) = \frac{d}{dx} \frac{1}{2\pi} \int_{-\infty}^\infty \exp(-i x t) \phi(t) dt = \frac{-i}{2\pi} \int_{-\infty}^\infty t \exp(-i x t) \phi(t) dt.$
Damit dies genau definiert werden kann, muss das letzte Integral absolut konvergieren. das ist,

$\int_{- \infty}^{\infty} | t \exp (- i x t) ϕ (t) | d t = \int_{- \infty}^{\infty} | t | | ϕ (t) | d t$ $\int_{-\infty}^\infty |t \exp(-i x t) \phi(t)| dt = \int_{-\infty}^\infty |t| |\phi(t)| dt$
muss zu einem endlichen Wert konvergieren. Wenn es dagegen konvergiert, existiert die Ableitung aufgrund dieser Inversionsformeln überall.

Es ist nun genau klar, wie differenzierbar das PDF für eine Summe von gleichförmigen Variablen ist: Vom ersten Aufzählungspunkt an ist die CF der Summe der iid-Variablen die CF einer von ihnen, die zur Potenz von wird. hier gleich . Der Zähler ist begrenzt (er besteht aus Sinuswellen), während der Nenner . Wir können einen solchen Integranden mit multiplizieren und er wird immer noch absolut konvergieren, wenn und bedingt konvergieren, wenn . Somit zeigt die wiederholte Anwendung des dritten Aufzählungszeichens, dass das PDF für die Summe von gleichförmigen Variationen kontinuierlich $n$ $n^\text{th}$ $(\exp(i t) - 1)^n / (i t)^n$ $O(t^{n})$ $t^{s}$ $s \lt n-1$ $s = n-1$ $n$ $n-2$ mal differenzierbar und meist mal differenzierbar. $n-1$

CF für n = 10

Die blau schattierte Kurve ist ein Log-Log-Diagramm des Absolutwerts des Realteils der CF aus der Summe von iid gleichförmigen Variationen. Die gestrichelte rote Linie ist eine Asymptote. seine Steigung ist , was zeigt, dass das PDF mal differenzierbar ist. Die graue Kurve zeigt als Referenz den Realteil der CF für eine ähnlich geformte Gaußsche Funktion (eine normale PDF). $n=10$ $-10$ $10 - 2 = 8$

Intuition aus der Wahrscheinlichkeit

Lassen und unabhängige Zufallsvariablen, in denen eine Uniform hat Verteilung. Betrachten Sie ein enges Intervall . Wir zerlegen die Wahrscheinlichkeit, dass in die Wahrscheinlichkeit, dass diesem Intervall ausreichend nahe kommt, multipliziert mit der Wahrscheinlichkeit, dass genau die richtige Größe hat um in diesem Intervall zu platzieren, vorausgesetzt, ist nah genug: $Y$ $X$ $X$ $[0,1]$ $(t, t+dt]$ $X+Y \in (t, t+dt]$ $Y$ $X$ $X+Y$ $Y$

\begin{aligned} f_{X + Y} (t) d t = & Pr (X + Y \in (t, t + d t]) \\ = Pr (X + Y \in (t, t + d t] | Y \in (t - 1, t + d t]) Pr (Y \in (t - 1, t + d t]) \\ = Pr (X \in (t - Y, t - Y + d t] | Y \in (t - 1, t + d t]) (F_{Y} (t + d t) - F_{Y} (t - 1)) \\ = 1 d t (F_{Y} (t + d t) - F_{Y} (t - 1)) . \end{aligned}

$\eqalign{ f_{X+Y}(t) dt = &\Pr(X+Y\in (t,t+dt])\\ & = \Pr(X+Y\in (t,t+dt] | Y \in (t-1, t+dt]) \Pr(Y \in (t-1, t+dt]) \\ & = \Pr(X \in (t-Y, t-Y+dt] | Y \in (t-1, t+dt]) \left(F_Y(t+dt) - F_Y(t-1)\right) \\ & = 1 dt \left(F_Y(t+dt) - F_Y(t-1)\right). }$

Die letzte Gleichheit kommt aus dem Ausdruck für die PDF von . Dividieren beider Seiten mit und unter den Grenzwert für gibt $X$ $dt$ $dt\to 0$

f_{X + Y} (t) = F_{Y} (t) - F_{Y} (t - 1) .

$f_{X+Y}(t) = F_Y(t) - F_Y(t-1).$

Mit anderen Worten wird eine gleichmäßige Zugabe Variable auf jede Variable ändert die pdf in eine differenced CDF . Da die PDF-Datei die Ableitung der CDF ist, bedeutet dies, dass jedes Mal , wenn wir eine unabhängige einheitliche Variable zu hinzufügen , die resultierende PDF-Datei eine größere Differenzierbarkeit aufweist als zuvor. $[0,1]$ $X$ $Y$ $f_Y$ $F_Y(t) - F_Y(t-1)$ $Y$

Wenden wir diese Einsicht an, indem wir mit einer einheitlichen Variablen . Das Original-PDF ist bei oder nicht unterscheidbar : Es ist dort diskontinuierlich. Das PDF von ist bei , oder nicht differenzierbar , muss jedoch an diesen Punkten stetig sein, da es sich um die Differenz der Integrale des PDF von . Fügen Sie eine weitere unabhängige einheitliche Variable : Die PDF von ist bei , , und differenzierbar, muss aber nicht die zweite haben $Y$ $0$ $1$ $Y+X$ $0$ $1$ $2$ $Y$ $X_2$ $Y+X+X_2$ $0$ $1$ $2$ $3$ Ableitungen an diesen Punkten. Und so weiter.

Intuition aus der Geometrie

Die CDF bei einer Summe von IId einheitliche variates gleich dem Volumen der Einheit hypercube liegen innerhalb des Halbraum . Die Situation für Variationen ist hier gezeigt, wobei auf , und dann . $t$ $n$ $[0,1]^n$ $x_1+x_2+\cdots+x_n \le t$ $n=3$ $t$ $1/2$ $3/2$ $5/2$

3D Würfel

Während von bis fortschreitet , kreuzt die Hyperebene Eckpunkte bei , . Zu jedem Zeitpunkt ändert sich die Form des Querschnitts: In der Abbildung ist es zuerst ein Dreieck (ein Implex), dann ein Sechseck, dann wieder ein Dreieck. Warum weist das PDF bei diesen Werten von keine scharfen Biegungen auf ? $t$ $0$ $n$ $H_n(t): x_1+x_2+\cdots+x_n=t$ $t=0$ $t=1, \ldots, t=n$ $2$ $t$

Um dies zu verstehen, betrachten Sie zuerst kleine Werte von . Hier schneidet die Hyperebene einen Implex ab. Alle Dimensionen des Simplex sind direkt proportional zu , daher ist seine "Fläche" proportional zu . Eine Notation dafür wird später nützlich sein. Sei die "Einheitsschrittfunktion" $t$ $H_n(t)$ $n-1$ $n-1$ $t$ $t^{n-1}$ $\theta$

θ (x) = \begin{array}{ll} {\begin{cases} 0 & x < 0 \\ 1 & x \geq 0. \end{cases} \end{array}

$\theta(x) = \begin{array}{ll} \left\{ \begin{array}{ll} 0 & x \lt 0 \\ 1 & x\ge 0. \end{array}\right. \end{array}$

Ohne das Vorhandensein der anderen Ecken des Hyperwürfels würde diese Skalierung auf unbestimmte Zeit fortgesetzt. Eine grafische Darstellung der Fläche des Implex würde wie die durchgezogene blaue Kurve unten aussehen: Sie ist bei negativen Werten Null und entsprichtim positiven Fall wird zweckmäßigerweise geschrieben:. Es hat einen "Knick" der Ordnung am Ursprung, in dem Sinne, dass alle Ableitungen durch die Ordnung existieren und kontinuierlich sind, aber dass linke und rechte Ableitungen der Ordnung existieren, aber am Ursprung nicht übereinstimmen . $n-1$ $t^{n-1}/(n-1)!$ $\theta(t) t^{n-1}/(n-1)!$ $n-2$ $n-3$ $n-2$

(Die anderen in dieser Figur gezeigten Kurven sind (Rot), (Gold) und (Schwarz). Ihre Rollen in dem Fall werden weiter unten erörtert.) $-3\theta(t-1) (t-1)^{2}/2!$ $3\theta(t-2) (t-2)^{2}/2!$ $-\theta(t-3) (t-3)^{2}/2!$ $n=3$

Einfaches Grundstück

Um zu verstehen, was passiert, wenn überschreitet , untersuchen wir im Detail den Fall , in dem die gesamte Geometrie in einer Ebene vorkommt. Wir können die Einheit "Würfel" (jetzt nur ein Quadrat) als eine lineare Kombination von Quadranten betrachten , wie hier gezeigt: $t$ $1$ $n=2$

Quadranten

Der erste Quadrant wird unten links grau angezeigt. Der Wert von ist und bestimmt die in allen fünf Feldern gezeigte Diagonale. Die CDF entspricht dem rechts gezeigten gelben Bereich. Dieser gelbe Bereich besteht aus: $t$ $1.5$

Der dreieckige graue Bereich im unteren linken Bereich,
minus der dreieckigen grünen Fläche in der oberen linken Platte,
abzüglich des dreieckigen roten Bereichs im unteren mittleren Bereich,
Plus ein blauer Bereich im oberen mittleren Bereich (aber es gibt keinen solchen Bereich und es wird auch keinen geben, bis überschreitet ). $t$ $2$

Jeder dieser Bereiche ist die Fläche eines Dreiecks. Die erste skaliert wie , die nächsten beiden sind Null für und ansonsten skaliert wie und die letzte ist Null für und skaliert sonst wie . Diese geometrische Analyse hat ergeben, dass der CDF proportional zu = ; äquivalent dazu ist das PDF proportional zur Summe der drei Funktionen , und $2^n=4$ $t^n=t^2$ $t\lt 1$ $(t-1)^n = (t-1)^2$ $t\lt 2$ $(t-2)^n$ $\theta(t)t^2 - \theta(t-1)(t-1)^2 - \theta(t-1)(t-1)^2 + \theta(t-2)(t-2)^2$ $\theta(t)t^2 - 2 \theta(t-1)(t-1)^2 + \theta(t-2)(t-2)^2$ $\theta(t)t$ $-2\theta(t-1)(t-1)$ $\theta(t-2)(t-2)$ (Jeder von ihnen skaliert linear, wenn ). Das linke Feld dieser Figur zeigt ihre Graphen: Offensichtlich sind sie alle Versionen des ursprünglichen Graphen , aber (a) um , und Einheiten nach rechts verschoben und (b) um skaliert , bzw. . $n=2$ $\theta(t)t$ $0$ $1$ $2$ $1$ $-2$ $1$

Diagramme für n = 2

Das rechte Feld zeigt die Summe dieser Diagramme (die durchgezogene schwarze Kurve, die auf die Einheitsfläche normiert ist). Dies ist genau das in der ursprünglichen Frage gezeigte eckig aussehende PDF.

Jetzt können wir die Natur der "Knicke" in der PDF jeder Summe von iid einheitlichen Variablen verstehen. Sie sind alle genau wie der "Knick", der bei in der Funktion auftritt , möglicherweise neu skaliert und zu den Ganzzahlen verschoben, die der Hyperebene entsprechen kreuzt die Eckpunkte des Hyperwürfels. Für ist dies eine sichtbare Richtungsänderung: Die rechte Ableitung von bei ist während die linke Ableitung . Für ist dies eine stetige $0$ $\theta(t)t^{n-1}$ $1,2,\ldots, n$ $H_n(t)$ $n=2$ $\theta(t)t$ $0$ $0$ $1$ $n=3$ Richtungswechsel, aber ein plötzlicher (diskontinuierlicher) Wechsel in der zweiten Ableitung. Für allgemeines gibt es kontinuierliche Ableitungen durch die Ordnung aber eine Diskontinuität in der Ableitung von . $n$ $n-2$ $n-1^\text{st}$

Intuition durch algebraische Manipulation

Die Integration zur Berechnung der CF, die Form der bedingten Wahrscheinlichkeit in der Wahrscheinlichkeitsanalyse und die Synthese eines Hyperwürfels als Linearkombination von Quadranten lassen darauf schließen, dass die ursprüngliche Gleichverteilung wiederhergestellt und als Linearkombination einfacherer Dinge ausgedrückt wird . In der Tat kann sein PDF geschrieben werden

f_{X} (x) = θ (x) - θ (x - 1) .

$f_X(x) = \theta(x) - \theta(x-1).$

Stellen wir uns den Shift-Operator : Er wirkt auf jede Funktion indem er seinen Graphen um eine Einheit nach rechts verschiebt: $\Delta$ $f$

(Δ f) (x) = f (x - 1) .

$(\Delta f)(x) = f(x-1).$

Formal können wir also für das PDF einer einheitlichen Variablen schreiben $X$

f_{X} = (1 - Δ) θ .

$f_X = (1 - \Delta)\theta.$

Die PDF einer Summe von iid Uniformen ist die Faltung von mit sich - mal. Dies folgt aus der Definition einer Summe von Zufallsvariablen: Die Faltung zweier Funktionen und ist die Funktion $n$ $f_X$ $n$ $f$ $g$

(f ⋆ g) (x) = \int_{- \infty}^{\infty} f (x - y) g (y) d y .

$(f \star g)(x) = \int_{-\infty}^{\infty} f(x-y)g(y) dy.$

Es ist leicht zu überprüfen, ob die Faltung mit . Ändern Sie einfach die Integrationsvariable von in : $\Delta$ $y$ $y+1$

\begin{aligned} (f ⋆ (Δ g)) & = \int_{- \infty}^{\infty} f (x - y) (Δ g) (y) d y \\ = \int_{- \infty}^{\infty} f (x - y) g (y - 1) d y \\ = \int_{- \infty}^{\infty} f ((x - 1) - y) g (y) d y \\ = (Δ (f ⋆ g)) (x) . \end{aligned}

$\eqalign{ (f \star (\Delta g)) &= \int_{-\infty}^{\infty} f(x-y)(\Delta g)(y) dy \\ &= \int_{-\infty}^{\infty} f(x-y)g(y-1) dy \\ &= \int_{-\infty}^{\infty} f((x-1)-y)g(y) dy \\ &= (\Delta (f \star g))(x). }$

Für die PDF der Summe von iid Uniformen, können wir gehen nun algebraisch zu schreiben $n$

f = f_{X}^{⋆ n} = ((1 - Δ) θ)^{⋆ n} = (1 - Δ)^{n} θ^{⋆ n}

$f = f_X^{\star n} = ((1 - \Delta)\theta)^{\star n} = (1-\Delta)^n \theta^{\star n}$

(wobei "power" eine wiederholte Faltung bedeutet, keine punktweise Multiplikation!). Nun ist eine direkte, elementare Integration, die gibt $\star n$ $\theta^{\star n}$

θ^{⋆ n} (x) = θ (x) \frac{x^{n - 1}}{n - 1!} .

$\theta^{\star n}(x) = \theta(x) \frac{x^{n-1}}{{n-1}!}.$

Der Rest ist Algebra, weil der Binomialsatz gilt (wie in jeder kommutativen Algebra über den Real):

f = (1 - Δ)^{n} θ^{⋆ n} = \sum_{i = 0}^{n} (- 1)^{i} (\binom{n}{i}) Δ^{i} θ^{⋆ n} .

$f = (1-\Delta)^n \theta^{\star n} = \sum_{i=0}^{n} (-1)^i \binom{n}{i} \Delta^i \theta^{\star n}.$

Da sein Argument lediglich um , zeigt dies das PDF als eine lineare Kombination von verschobenen Versionen von , genau wie wir geometrisch abgeleitet haben: $\Delta^i$ $i$ $f$ $\theta(x) x^{n-1}$

f (x) = \frac{1}{(n - 1)!} \sum_{i = 0}^{n} (- 1)^{i} (\binom{n}{i}) (x - i)^{n - 1} θ (x - i) .

$f(x) = \frac{1}{(n-1)!}\sum_{i=0}^{n} (-1)^i \binom{n}{i} (x-i)^{n-1}\theta(x-i).$

(John Cook zitiert diese Formel später in seinem Blog-Beitrag unter Verwendung der Notation für .) $(x-i)^{n-1}_+$ $(x-i)^{n-1}\theta(x-i)$

Da überall eine glatte Funktion ist, tritt ein singuläres Verhalten der PDF nur an Stellen auf, an denen singulär ist (offensichtlich nur ) und an Stellen, die um nach rechts verschoben sind . Die Art dieses singulären Verhaltens - der Grad der Glätte - ist daher an allen Stellen gleich. $x^{n-1}$ $\theta(x)$ $0$ $1, 2, \ldots, n$ $n+1$

Dies ist das Bild für , das (im linken Feld) die einzelnen Terme in der Summe und (im rechten Feld) die Teilsummen zeigt, die in der Summe selbst gipfeln (durchgezogene schwarze Kurve): $n=8$

Plotten Sie für n = 8

Abschließende Kommentare

Es ist nützlich zu bemerken, dass dieser letzte Ansatz endlich einen kompakten, praktischen Ausdruck für die Berechnung des PDF aus einer Summe von iid einheitlichen Variablen hervorgebracht hat. (Eine Formel für den CDF wird auf ähnliche Weise erhalten.) $n$

Der zentrale Grenzwertsatz hat hier wenig zu sagen. Immerhin konvergiert eine Summe von iid- Binomialvariablen zu einer Normalverteilung, aber diese Summe ist immer diskret: Es gibt überhaupt kein PDF! Wir sollten nicht darauf hoffen, dass die CLT eine Vorstellung von "Knicken" oder anderen Maßnahmen zur Unterscheidbarkeit eines PDFs vermittelt.

whuber
quelle

(+1) Fantastisch! Nun, wie lange hat es gedauert, bis du das alles zusammengestellt hast ?!

Kardinal

@Cardinal Dies war die letzte Frage, die ich gelesen habe, bevor ich letzten Montag die Macht verloren habe. In der darauffolgenden Woche boten die langen, dunklen Abende Gelegenheit, sich Gedanken zu machen :-) und zur Belustigung mehrere Antworten zu entwickeln. Nachdem die Stromversorgung am vergangenen Wochenende wiederhergestellt war, musste nur etwas Zeit für die Erstellung der Illustrationen und das Aufschreiben aufgewendet werden (was, wie ich gestehe, länger dauerte als erwartet). Ich hoffe, dass vielleicht ein Teil dieses Threads als Referenz für verwandte zukünftige Fragen zu Summen von Zufallsvariablen dienen könnte.

whuber

Beeindruckend. Ich wünschte, ich könnte diese Antwort "favorisieren" .

Rhabarber

Aber das ist absolut erstaunlich. Ich habe nie realisiert, wie tief eine so einfache Frage sein könnte. Es wird eine Weile dauern, bis ich deine Antwort gefunden habe, aber jetzt vielen Dank!

Tetragrammaton

Ich werde gegen die SE-Richtlinien für Kommentare verstoßen, indem ich sage, dass wir (alle von crossvalidate.com) Ihr Energieversorgungsunternehmen bestechen sollten, um den Strom häufiger

abzuschalten