Was ist die überraschendste Charakterisierung der Gaußschen (Normal-) Verteilung?

52

Eine standardisierte Gaußsche Verteilung auf kann durch explizite Angabe der Dichte definiert werden: $\mathbb{R}$

\frac{1}{\sqrt{2 π}} e^{- x^{2} / 2}

$\frac{1}{\sqrt{2\pi}}e^{-x^2/2}$

oder seine charakteristische Funktion.

Wie in dieser Frage erwähnt, ist es auch die einzige Verteilung, für die der Stichprobenmittelwert und die Varianz unabhängig sind.

Welche andere überraschende alternative Charakterisierung von Gaußschen Maßen kennen Sie? Ich werde die überraschendste Antwort annehmen

probability normal-distribution mathematical-statistics characteristic-function Robin Girard
quelle

39

Mein persönlich überraschendstes Beispiel betrifft den Stichprobenmittelwert und die Varianz, aber hier ist eine weitere (vielleicht) überraschende Charakterisierung: Wenn und IID mit endlicher Varianz sind und und unabhängig sind, sind und normal. $X$ $Y$ $X+Y$ $X-Y$ $X$ $Y$

Intuitiv können wir in der Regel anhand eines Streudiagramms feststellen, wenn Variablen nicht unabhängig sind. Stellen Sie sich also ein Streudiagramm von Paaren vor, das unabhängig aussieht. Drehen Sie jetzt um 45 Grad und schauen Sie noch einmal: Wenn es noch unabhängig aussieht, müssen die und Koordinaten einzeln normal sein (das spricht natürlich alles nur für sich). $(X,Y)$ $X$ $Y$

Sehen Sie sich an, warum das intuitive Bit funktioniert

[\begin{array}{cc} \cos 45^{\circ} & - \sin 45^{\circ} \\ \sin 45^{\circ} & \cos 45^{\circ} \end{array}] [\begin{matrix} x \\ y \end{matrix}] = \frac{1}{\sqrt{2}} [\begin{matrix} x - y \\ x + y \end{matrix}]

$\left[ \begin{array}{cc} \cos45^{\circ} & -\sin45^{\circ} \newline \sin45^{\circ} & \cos45^{\circ} \end{array} \right] \left[ \begin{array}{c} x \newline y \end{array} \right]= \frac{1}{\sqrt{2}} \left[ \begin{array}{c} x-y \newline x+y \end{array} \right]$

user1108
quelle

3

Jay - dies ist im Grunde eine Wiederholung der Aussage, dass Mittelwert und Varianz unabhängig sind. ist ein umskalierter Mittelwert und ist eine umskalierte Standardabweichung.

X + Y

$X+Y$

X - Y

$X-Y$

Wahrscheinlichkeit

5

@probabilityislogic - Ich mag die Intuition von dem, was Sie gesagt haben, aber ich denke nicht, dass es genau ein Restatement ist, weil nicht genau eine Neuskalierung der SD ist: Die SD vergisst das Vorzeichen. Die Unabhängigkeit von Mittelwert und SD ergibt sich also aus der Unabhängigkeit von , (wenn ), aber nicht umgekehrt. Das war vielleicht das, was Sie unter "im Grunde" verstanden haben. Wie auch immer, es ist gutes Zeug.

X - Y

$X - Y$

X + Y

$X+Y$

X - Y

$X-Y$

n = 2

$n = 2$

4

Wo können wir Beweise für diese Eigenschaft finden?

Royi

1

@ Royi siehe 16. hier . Beachten Sie für (a), dass . Für (b) beachte, dass was sich nach der Substitution sehnt von dem Sie . Wenn , dann , also für alle , , und es ist eine Sequenz so dass und für alle , was der Kontinuität von bei widerspricht

2 X = (X + Y) + (X - Y)

$2X=(X+Y)+(X-Y)$

φ (2 t) φ (- 2 t) = (φ (t) φ (- t))^{4}

$\varphi(2t)\varphi(-2t)=(\varphi(t)\varphi(-t))^4$

ψ (t) = φ (t) φ (- t)

$\psi(t)=\varphi(t)\varphi(-t)$

ψ (t) = ψ^{2^{2 n}} (\frac{t}{2^{n}})

$\psi(t)=\psi^{2^{2n}}(\frac{t}{2^n})$

φ (t_{0}) = 0

$\varphi(t_0)=0$

ψ (t_{0}) = 0

$\psi(t_0)=0$

n

$n$

ψ (\frac{t_{0}}{2^{n}}) = 0

$\psi(\frac{t_0}{2^n})=0$

t_{n}

$t_n$

t_{n} \to 0

$t_n\to 0$

φ (t_{n}) = 0

$\varphi(t_n)=0$

n

$n$

φ

$\varphi$

0

$0$ . (c) ist geradlinig [Fortsetzung]

Gabriel Romon

1

Für (d) ist . Man beachte, dass , daher ist . Stecken dies in der vorherigen Gleichheit und beweisen , dass für feste , , was bedeutet für alle . Das heißt, ist real, und die Gleichheit in (a) wird zu dem, wonach gefragt wird. Beweisen Sie erneut, dass und verwenden Sie , um . Also ist und

γ (t) = γ^{2^{n}} (\frac{t}{2^{n}})

$\gamma(t)=\gamma^{2^n}(\frac{t}{2^n})$

φ (t) = 1 - \frac{t^{2}}{2} + o (t^{2})

$\varphi(t)=1-\frac{t^2}2+o(t^2)$

γ (t) = 1 + o (t^{2})

$\gamma(t)=1+o(t^2)$

t

$t$

lim_{n} γ^{2^{n}} (\frac{t}{2^{n}}) = 1

$\lim_n \gamma^{2^n}(\frac{t}{2^n}) = 1$

γ (t) = 1

$\gamma(t)=1$

t

$t$

φ

$\varphi$

φ (t) = φ^{2^{2 n}} (\frac{t}{2^{n}})

$\varphi(t)=\varphi^{2^{2n}}(\frac{t}{2^n})$

φ (t) = 1 - \frac{t^{2}}{2} + o (t^{2})

$\varphi(t)=1-\frac{t^2}2+o(t^2)$

lim_{n} φ^{2^{2 n}} (\frac{t}{2^{n}}) = e^{- t^{2} / 2}

$\lim_n \varphi^{2^{2n}}(\frac{t}{2^n}) = e^{-t^2/2}$

φ (t) = e^{- t^{2} / 2}

$\varphi(t)=e^{-t^2/2}$

X

$X$ ist normal.

Gabriel Romon

27

Die kontinuierliche Verteilung mit fester Varianz, die die Differentialentropie maximiert, ist die Gaußsche Verteilung.

shabbychef
quelle

22

Darüber ist ein ganzes Buch geschrieben: "Charakterisierungen des normalen Wahrscheinlichkeitsgesetzes", AM Mathai & G. Perderzoli. Eine kurze Übersicht in JASA (Dezember 1978) erwähnt Folgendes:

Sei unabhängige Zufallsvariablen. Dann sind und unabhängig, wobei , genau dann, wenn [normal verteilt] ist. $X_1, \ldots, X_n$ $\sum_{i=1}^n{a_i x_i}$ $\sum_{i=1}^n{b_i x_i}$ $a_i b_i \ne 0$ $X_i$

whuber
quelle

3

Es muss eine Bedingung wie fehlen. zum Beispiel wenn n = 2 und nicht unabhängig sind.

< a, b >= 0

$<a,b>=0$

a_{i} = b_{i} = 1

$a_i=b_i=1$

X_{1} + X_{2}

$X_1+X_2$

X_{1} + X_{2}

$X_1+X_2$

Robin Girard

1

@ Robin guten Fang. Ich habe auch über die impliziten Quantifizierer gerätselt. Leider habe ich nur Zugriff auf dieses (kitzelnde) Zitat aus der Rezension, nicht auf das Buch. Es würde Spaß machen, es in einer Bibliothek zu finden und darin zu stöbern ...

whuber

Dies fühlt sich an wie eine Verallgemeinerung der Antwort von G. Jay Kerns (derzeit Nummer 1).

VQV

Ich glaube, Sie suchen vielleicht nach der Zeitung von Lukacs & King (1954). Siehe diese Antwort auf math.SE mit einem Link zu dem oben genannten Artikel .

Kardinal

2

Wo dieser Satz sagt "wo ", bedeutet es für JEDEN Satz von Skalaren, wo "? Ich hasse es zu sehen," wo "anstelle von" für alle "oder" für einige "verwendet. Wo "sollte verwendet werden, um die eigene Notation zu erklären, wie in" wo die Lichtgeschwindigkeit und das Bruttoinlandsprodukt ist "usw.

a_{i} b_{i} \neq 0

$a_i b_i\ne 0$

a_{i} b_{i} \neq 0

$a_i b_i \ne 0$

c

$c$

g

$g$

Michael Hardy

17

Gaußsche Verteilungen sind die einzigen summenstabilen Verteilungen mit endlicher Varianz.

shabbychef
quelle

8

Dass sie summenstabil sind und dass sie die Einzigen mit endlicher Varianz sind, wird uns beide von der CLT aufgezwungen. Der interessante Teil dieser Behauptung ist, dass es andere summenstabile Verteilungen gibt!

whuber

1

@whuber: in der Tat! Diese Charakterisierung ist etwas verzerrt, und die anderen summenstabilen Verteilungen sind vielleicht merkwürdiger.

Shabbychef

@whuber eigentlich sehe ich nicht, wie der CLT diese Tatsache impliziert. Es scheint uns nur zu sagen, dass asymptotisch die Summe der Normalen normal ist, nicht dass irgendeine endliche Summe normal verteilt ist. Oder musst du irgendwie auch Slutskys Theorem anwenden?

Shabbychef

3

Bei der üblichen Normierung ist eine Summe von zwei Normalen die Summe einer Normalverteilung X_0 plus der Grenzverteilung einer Reihe X_1, X_2, ..., wobei die Summe die Grenzverteilung von X_0, X_1, ... ist, die durch die Lindeberg-Abgabe ist CLT normal.

whuber

17

Stein's Lemma bietet eine sehr nützliche Charakterisierung. ist ein Standard-Gaußscher Wert für für alle absolut stetigen Funktionen mit . $Z$

E f^{'} (Z) = E Z f (Z)

$E f’(Z) = E Z f(Z)$

f

$f$

E | f^{'} (Z) | < \infty

$E|f’(Z)| < \infty$

vqv
quelle

12

Theorem [Herschel-Maxwell]: Sei ein Zufallsvektor, für den (i) Projektionen in orthogonale Teilräume unabhängig sind und (ii) die Verteilung von nur von der Länge abhängt. Dann ist normalverteilt. $Z \in \mathbb{R}^n$ $Z$ $\|Z\|$ $Z$

Zitiert von George Cobb in Teaching Statistics: Einige wichtige Spannungen (Chilean J. Statistics Vol. 2, Nr. 1, April 2011) auf S. 54.

Cobb verwendet diese Charakterisierung als Ausgangspunkt für die Ableitung der Verteilungen , und , ohne die Verwendung von Calculus (oder viel Wahrscheinlichkeitstheorie). $\chi^2$ $t$ $F$

whuber
quelle

9

Sei und zwei unabhängige Zufallsvariablen mit einer gemeinsamen symmetrischen Verteilung, so dass $\eta$ $\xi$

P (| \frac{ξ + η}{\sqrt{2}} | \geq t) \leq P (| ξ | \geq t) .

$P\left ( \left |\frac{\xi+\eta}{\sqrt{2}}\right | \geq t \right )\leq P(|\xi|\geq t).$

Dann sind diese Zufallsvariablen Gauß. (Wenn und gauß-zentriert sind, ist dies offensichtlich richtig.) $\xi$ $\eta$

Dies ist der Bobkov-Houdre-Satz

Robin Girard
quelle

9

Dies ist keine Charakterisierung, sondern eine Vermutung, die aus dem Jahr 1917 stammt und Cantelli zu verdanken ist:

Wenn ist eine positive Funktion auf und und sind unabhängige Zufallsvariablen , so daß normal ist , dann eine Konstante ist fast überall. $f$ $\mathbb{R}$ $X$ $Y$ $N(0,1)$ $X+f(X)Y$ $f$

Erwähnt von Gérard Letac hier .

Did
quelle

Es ist gut, dass Sie es erwähnen! Ich kann die Intuition nicht verstehen, oder?

Robin Girard

@robin Das ist es, was diese Vermutung so besonders macht: eine ganz elementare Aussage, einige offensichtliche Ansätze, die kläglich scheitern (charakteristische Funktionen), und man hat nichts zu begreifen ... Sollte man auf die Wahrheit der Vermutung wetten oder falsch? Auch das ist mir nicht klar.

Hat

2

Wenn Gérard Letac es nicht geschafft hat, es zu beweisen, könnte es eine ganze Weile eine offene Vermutung bleiben ...!

Xi'an,

@ Xi'an: Da stimme ich natürlich voll zu. (Wusste nicht, dass Sie in diesen Bereichen des Webs unterwegs sind ... Gute Nachrichten, dass Sie es sind.)

Hat der

6

@ Xi'an Hier ein Preprint von Victor Kleptsyn und Aline Kurtzmann mit einem Gegenbeispiel zur Cantelli-Vermutung. Die Konstruktion verwendet ein neues Werkzeug, das die Autoren den Brownschen Massentransport nennen, und liefert eine diskontinuierliche Funktion . Die Autoren geben an, dass sie glauben, dass die Cantelli-Vermutung zutrifft, wenn man fragt, dass stetig ist (es ist eine Mischung aus zwei stetigen Funktionen).

f

$f$

f

$f$

Hat

8

Angenommen, man schätzt einen Standortparameter mit iid-Daten . Wenn der Maximum-Likelihood-Schätzer ist, ist die Stichprobenverteilung Gauß. Nach Jaynes ' Wahrscheinlichkeitstheorie: The Logic of Science, S. 202-4, leitete Gauss sie ursprünglich so ab. $\{x_1,...,x_n\}$ $\bar{x}$

Cyan
quelle

Ich bin mir nicht sicher, ob ich das als Charakterisierung der Normalverteilung verstehe, daher fehlt mir wahrscheinlich etwas. Was wäre, wenn wir Poisson-Daten hätten und schätzen wollten ? Das MLE ist aber die Stichprobenverteilung von ist nicht gaußsch. Erstens muss rational sein. zweitens, wenn es Gaußsch wäre, wäre es aber das ist .

μ

$\mu$

\bar{x}

$\bar{x}$

\bar{x}

$\bar{x}$

\bar{x}

$\bar{x}$

\sum x_{i}

$\sum{x_i}$

Poisson (n μ)

$\text{Poisson}(n\mu)$

Silverfish

2

Der Poisson-Mittelwert ist kein Standortparameter!

kjetil b halvorsen

6

Eine genauere Charakterisierung der Normalverteilung innerhalb der Klasse der unendlich teilbaren Verteilungen findet sich in Steutel und Van Harn (2004) .

Eine nicht entartete unendlich teilbare Zufallsvariable hat genau dann eine Normalverteilung, wenn sie erfüllt. $X$
$- \underset{x \to \infty}{lim sup} \frac{\log P (| X | > x)}{x \log (x)} = \infty .$ $-\limsup_{x\rightarrow\infty}\dfrac{\log{\mathbb P}(\vert X\vert>x)}{x\log(x)}=\infty.$

Dieses Ergebnis charakterisiert die Normalverteilung hinsichtlich ihres Schwanzverhaltens.

user10525
quelle

1

Ein kurzer Beweis für die angegebene Grenze lautet wie folgt: Wenn normal ist, dann ist als , also . Aber und so folgt das Ergebnis. Eine grobe Skizze für den Fall des Poisson scheint darauf hinzudeuten, dass der angegebene Grenzwert , aber ich habe das nicht zu genau geprüft.

X

$X$

x P (X > x) / φ (x) \to 1

$x \mathbb P(X>x)/\varphi(x)\to 1$

x \to \infty

$x\to \infty$

\log P (X > x) - \log φ (x) + \log x \to 0

$\log\mathbb P(X>x)−\log \varphi(x) + \log x \to 0$

2 \log φ (x) \sim - x^{2}

$2 \log \varphi(x) \sim −x^2$

λ

$\lambda$

Kardinal

6

Im Rahmen der Bildglättung (zB Skalenraum ) ist der Gaußsche Kern der einzige rotationssymmetrisch trennbare * Kern.

Das heißt, wenn wir benötigen wobei , dann erfordert Rotationssymmetrie entspricht .

F [x, y] = f [x] f [y]

$F[x,y]=f[x]f[y]$

[x, y] = r [\cos θ, \sin θ]

$[x,y]=r[\cos\theta,\sin\theta]$

\begin{aligned} F_{θ} & = f^{'} [x] f [y] x_{θ} + f [x] f^{'} [y] y_{θ} \\ = - f^{'} [x] f [y] y + f [x] f^{'} [y] x = 0 \\ ⟹ \\ \frac{f^{'} [x]}{x f [x]} & = \frac{f^{'} [y]}{y f [y]} = c o n s t . \end{aligned}

$\begin{align} F_\theta &= f'[x]f[y]x_\theta+f[x]f'[y]y_\theta \\ &= -f'[x]f[y]y+f[x]f'[y]x = 0 \\ &\implies \\ \frac{f'[x]}{xf[x]} &= \frac{f'[y]}{yf[y]} = \mathrm{const.} \end{align}$

\log [f [x]]^{'} = c x

$\log\big[f[x]\big]'=cx$

Voraussetzung dafür, dass ein richtiger Kernel ist, ist, dass die Konstante negativ und der Anfangswert positiv ist, was den Gaußschen Kernel ergibt. $f[x]$

* Im Kontext von Wahrscheinlichkeitsverteilungen bedeutet separabel unabhängig, während im Kontext von Bildfilterung die 2D-Faltung rechnerisch auf zwei 1D-Faltungen reduziert werden kann.

GeoMatt22
quelle

2

+1 Aber folgt das nicht aus einer unmittelbaren Anwendung des Herschel-Maxwell-Theorems in 2D?

Whuber

@whuber Tatsächlich habe ich es irgendwie geschafft, deine Antwort zu übersehen, wenn ich diesen Thread durchgesehen habe!

Amöbe sagt Reinstate Monica

@whuber Ja. Ich hatte diesen alten Thread nicht im Detail durchgelesen und fügte diese Antwort nur auf Anfrage hinzu.

GeoMatt22

1

@amoeba siehe auch hier .

GeoMatt22

3

Kürzlich veröffentlichte Ejsmont Artikel mit neuer Charakterisierung von Gauß:

Sei unabhängige Zufallsvektoren mit allen Momenten, in denen nicht entartet sind, und sei statistic haben eine Verteilung, die nur von abhängt , wobei und . Dann ist unabhängig und hat die gleiche Normalverteilung mit dem Null und für . $(X_1,\dots, X_m,Y) \textrm{ and } (X_{m+1},\dots,X_n,Z)$ $X_i$ $\sum_{i=1}^na_iX_i+Y+Z$ $\sum_{i=1}^n a_i^2$ $a_i\in \mathbb{R}$ $1\leq m < n$ $X_i$ $cov(X_i,Y)=cov(X_i,Z)=0$ $i\in\{1,\dots,n\}$

[1] Ejsmont, Wiktor. "Eine Charakterisierung der Normalverteilung durch die Unabhängigkeit eines Paares von Zufallsvektoren." Statistics & Probability Letters 114 (2016): 1-5.

Daniel
quelle

1

Das ist eine delikate und faszinierende Charakterisierung. Vielen Dank, dass Sie diesen Thread durch Teilen verbessert haben!

Whuber

1

Seine charakteristische Funktion hat die gleiche Form wie sein pdf. Ich bin mir nicht sicher, ob dies bei einer anderen Distribution der Fall ist.

Jason
quelle

4

In dieser meiner Antworten finden Sie Möglichkeiten, Zufallsvariablen zu konstruieren, deren charakteristische Funktionen mit denen ihrer pdfs identisch sind.

Dilip Sarwate

-1

Die Erwartung plus minus der Standardabweichung sind die Sattelpunkte der Funktion.

Tal Galili
quelle

11

Dies ist zwar eine Eigenschaft der Normal-Distribution, sie kennzeichnet sie jedoch nicht , da auch viele andere Distributionen über diese Eigenschaft verfügen.

Whuber

Was ist die überraschendste Charakterisierung der Gaußschen (Normal-) Verteilung?

Antworten: