Existenz des Moments, das Funktion und Varianz erzeugt

Kann eine Verteilung mit endlichem Mittelwert und unendlicher Varianz eine momenterzeugende Funktion haben? Was ist mit einer Verteilung mit endlichem Mittelwert und endlicher Varianz, aber unendlichen höheren Momenten?

Diese Frage bietet eine gute Gelegenheit, einige Fakten über momenterzeugende Funktionen ( mgf ) zu sammeln .

In der Antwort unten machen wir Folgendes:

1. Zeigen Sie, dass alle positiven Momente von endlich sind (einschließlich nichtintegraler Momente) , wenn mgf für mindestens einen (streng) positiven und einen negativen Wert endlich ist.$X$
2. Man beweise, dass die Bedingung im obigen ersten Punkt der Verteilung von mit exponentiell begrenzten Schwänzen entspricht. Mit anderen Worten, die Schwänze von fallen mindestens so schnell ab wie die einer exponentiellen Zufallsvariablen (bis zu einer Konstanten).$X$$X$$Z$
3. Geben Sie einen kurzen Hinweis zur Charakterisierung der Verteilung durch ihre MGF, sofern sie die Bedingung in Punkt 1 erfüllt.
4. Schauen Sie sich einige Beispiele und Gegenbeispiele an, um unsere Intuition zu unterstützen und um insbesondere zu zeigen, dass wir den Mangel an Endlichkeit der mgf nicht in unangemessener Weise berücksichtigen sollten.

Diese Antwort ist ziemlich lang, wofür ich mich im Voraus entschuldige. Wenn dies besser platziert wäre, z. B. als Blog-Beitrag oder an einer anderen Stelle, können Sie in den Kommentaren ein solches Feedback abgeben.

Was sagt die MGF über die Momente?

Die mgf einer Zufallsvariablen ist definiert als . Es ist zu beachten, dass immer existiert, da es das Integral einer nichtnegativen messbaren Funktion ist. Wenn jedoch nicht endlich sein kann . Wenn es ist endlich (in den richtigen Stellen), dann für alle (nicht notwendigerweise eine ganze Zahl), die absoluten Momente (und, ja, auch ist endlich). Dies ist das Thema des nächsten Satzes.m ( t ) = E e t X m ( t ) p > 0 E | X | p < ∞ E X $X \sim F$$m(t) = \mathbb E e^{tX}$$m(t)$ $p > 0$$\mathbb E |X|^p < \infty$$\mathbb E X^p$

Proposition : Wenn es und so dass und , dann existieren die Momente aller Ordnungen von und sind endlich.t p > 0 m ( t n ) < ≤ m ( t p ) < ≤ $\newcommand{\tn}{t_{n}}\newcommand{\tp}{t_{p}}\tn < 0$$\tp > 0$$m(\tn) < \infty$$m(\tp) < \infty$$X$

Vor dem Eintauchen in einen Beweis sind hier zwei nützliche Deckspelzen.

Lemma 1 : Nehmen wir an, dass solche und existieren. Dann gilt für jede , . Beweis . Dies folgt aus der Konvexität von und der Monotonie des Integrals. Für ein solches existiert so dass ; Aber dann ist Aufgrund der Monotonie des Integrals ist . t p t 0 ∈ [ t n , t p ] m ( t 0 ) < ∞ e x t 0 θ ∈ [ 0 , 1 ] T 0 = θ t n + ( 1 - θ ) t p e t 0 X = e & thgr; t n X + ( 1 - $\tn$$\tp$$t_0 \in [\tn,\tp]$$m(t_0) < \infty$
$e^x$$t_0$$\theta \in [0,1]$$t_0 = \theta \tn + (1-\theta) \tp$E e t 0 X ≤ θ E e t n X + ( 1 - θ ) E e t p X <

$$e^{t_0 X} = e^{\theta \tn X + (1-\theta) \tp X} \leq \theta e^{\tn X} + (1-\theta) e^{\tp X} \>.$$ $\mathbb E e^{t_0 X} \leq \theta \mathbb E e^{\tn X} + (1-\theta) \mathbb E e^{\tp X} < \infty$

Wenn also die mgf an zwei verschiedenen Punkten endlich ist, ist sie für alle Werte im Intervall zwischen diesen Punkten endlich.

Lemma 2 ( Verschachtelung von Räumen$L_p$ ): Für , wenn , dann . Beweis : In dieser Antwort und den zugehörigen Kommentaren werden zwei Ansätze angegeben . E | X | p <∞ E | X | q <$0 \leq q \leq p$$\mathbb E |X|^p < \infty$$\mathbb E |X|^q < \infty$

Dies gibt uns genug, um mit dem Beweis des Satzes fortzufahren.

Beweis des Satzes . Wenn und wie in dem Satz angegeben existieren, dann gilt , und wir wissen durch das erste Lemma, dass und . Aber und die rechte Seite ist nicht negativer Begriffe zusammengesetzt, so ist , insbesondere für jedes festen Nun, nach der Annahme . Monotonie des Integrals ergibt . Daher alle$\tn < 0$$\tp > 0$$t_0 = \min(-\tn,\tp) > 0$$m(-t_0) < \infty$$m(t_0) < \infty$

$$e^{-t_0 X} + e^{t_0 X} = 2 \sum_{n=0}^\infty \frac{t_0^{2n} X^{2n}}{(2n)!} \>,$$ $k$ $$e^{-t_0 X} + e^{t_0 X} \geq 2 t_0^{2k} X^{2k}/(2k)! \>.$$ $\mathbb E e^{-t_0 X} + \mathbb E e^{t_0 X} < \infty$$\mathbb E X^{2k} < \infty$sogar Momente von sind endlich. Mit Lemma 2 können wir sofort "die Lücken füllen" und daraus schließen, dass alle Momente endlich sein müssen.$X$

Ergebnis

Das Fazit der vorliegenden Frage ist, dass wir , wenn einer der Momente von unendlich ist oder nicht existiert, sofort schließen können , dass die mgf in einem offenen Intervall, das den Ursprung enthält, nicht endlich ist. (Dies ist nur die kontrapositive Aussage des Satzes.)$X$

Somit liefert der obige Satz die "richtige" Bedingung, um etwas über die Momente von basierend auf seiner mgf zu sagen .$X$

Exponentiell begrenzte Schwänze und die MGF

Proposition : Das mgf ist endlich in einem offenen Intervall enthält , die Herkunft , wenn und nur wenn der Schwanz von ist exponentiell begrenzt , dh für einige und .$m(t)$$(\tn,\tp)$$F$$\mathbb P( |X| > x) \leq C e^{-t_0 x}$$C > 0$$t_0 > 0$

Beweis . Wir werden uns separat um den richtigen Schwanz kümmern. Der linke Schwanz wird ganz analog behandelt.

$(\Rightarrow)$ Angenommen, für einige . Dann wird der rechte Schwanz ist exponentiell begrenzt ; mit anderen Worten, es gibt und so dass Um dies zu sehen, beachte, dass für jedes nach Markovs Ungleichung Nehmen Sie und , um diese Richtung des Beweises zu vervollständigen.$m(t_0) < \infty$$t_0 > 0$$F$$C > 0$$b > 0$

$$\mathbb P(X > x) \leq C e^{-b x} \>.$$ $t > 0$ $$\mathbb P(X > x) = \mathbb P(e^{tX} > e^{tx}) \leq e^{-tx} \mathbb E e^{t X} = m(t) e^{-t x} \>.$$ $C = m(t_0)$$b = t_0$

$(\Leftarrow)$ Angenommen, es gibt und so dass . Dann wird für , wobei die erste Gleichheit aus a folgt Standard Tatsache über die Erwartung von nichtnegativen Zufallsvariablen . Wählen Sie ein beliebiges so, dass ; dann ist das Integral auf der rechten Seite endlich.$C >0$$t_0 > 0$$\mathbb P(X > x) \leq C e^{-t_0 x}$$t > 0$

$$\mathbb E e^{t X} = \int_0^\infty \mathbb P( e^{t X} > y)\,\mathrm dy \leq 1 + \int_1^\infty \mathbb P( e^{t X} > y)\,\mathrm dy \leq 1 + \int_1^\infty C y^{-t_0/t} \, \mathrm dy \>,$$ $t$$0 < t < t_0$

Damit ist der Beweis abgeschlossen.

Ein Hinweis auf die Eindeutigkeit einer Verteilung in Anbetracht ihrer mgf

Ist die mgf in einem offenen Intervall mit Null endlich, so wird die zugehörige Verteilung durch ihre Momente charakterisiert , dh sie ist die einzige Verteilung mit den Momenten . Ein Standardbeweis ist kurz, wenn man einige (relativ einfache) Tatsachen über charakteristische Funktionen zur Hand hat . Details finden Sie in modernsten Wahrscheinlichkeitstexten (zB Billingsley oder Durrett). In dieser Antwort werden einige verwandte Fragen erörtert .$\mu_n = \mathbb E X^n$

Beispiele und Gegenbeispiele

( a ) Lognormalverteilung : ist lognormal, wenn für eine normale Zufallsvariable . Also mit der Wahrscheinlichkeit eins. Da für alle , sagt uns dies sofort, dass für alle . Die mgf ist also auf der nichtnegativen Halblinie endlich . ( Hinweis: Wir haben nur die Nicht-Negativität von , um diese Tatsache zu ermitteln. Dies gilt also für alle nichtnegativen Zufallsvariablen.)$X$$X = e^Y$$Y$$X \geq 0$$e^{-x} \leq 1$$x \geq 0$$m(t) = \mathbb E e^{t X} \leq 1$ $t < 0$$(-\infty,0]$$X$

Allerdings ist für alle . Wir nehmen das Standardlognormal als den kanonischen Fall. Wenn , dann ist . Durch Änderung der Variablen erhalten wir Für und groß genug haben wir durch die oben angegebenen Grenzen. Aber für ein beliebiges , und so ist die mgf für alle unendlich .$m(t) = \infty$ $t > 0$$x > 0$$e^{x} \geq 1 + x + \frac{1}{2} x^2 + \frac{1}{6} x^3$

$$\mathbb E e^{t X} = (2\pi)^{-1/2} \int_{-\infty}^\infty e^{t e^u - u^2/2} \,\mathrm d u \>.$$ $t > 0$$u$$t e^u - u^2/2 \geq t+tu$ $$\int_{K}^\infty e^{t + tu} \,\mathrm du = \infty$$ $K$$t > 0$

Andererseits sind alle Momente der Lognormalverteilung endlich. Das Vorhandensein der mgf in einem Intervall von etwa Null ist für die Schlussfolgerung des obigen Satzes nicht erforderlich .

( b ) Symmetrisierte Lognormalverteilung : Wir können einen noch extremeren Fall erhalten, indem wir die Lognormalverteilung "symmetrisieren". Betrachte die Dichte für so, dass Es ist im Lichte des vorhergehenden Beispiels nicht schwer zu erkennen, dass der mgf nur für endlich ist . Die geraden Momente sind jedoch genau die gleichen wie die der lognormalen und die ungeraden Momente sind alle Null! Der mgf existiert also nirgendwo (außer an dem Ort, an dem er immer existiert) und dennoch können wir endliche Momente aller Bestellungen garantieren.$f(x)$$x \in \mathbb R$

$$f(x) = \frac{1}{2\sqrt{2\pi}|x|} e^{-\frac{1}{2} (\log |x|)^2} \>.$$ $t = 0$

( c ) Cauchy-Verteilung : Diese Verteilung hat auch eine mgf, die für alle unendlich ist , aber keine absoluten Momente sind für endlich . Das Ergebnis für die mgf folgt für da für und somit Der Beweis für ist analog. (Vielleicht etwas weniger bekannt ist , dass die Momente , für zu tun gibt es für die Cauchy. Sehen Sie diese Antwort$t \neq 0$$\mathbb E|X|^p$$p \geq 1$$t > 0$$e^x \geq x^3 / 6$$x > 0$

$$\mathbb E e^{tX} \geq \int_1^\infty \frac{t^3 x^3}{6\pi(1+x^2)} \,\mathrm dx \geq \frac{t^3}{12\pi} \int_1^\infty x \,\mathrm dx = \infty \>.$$ $t < 0$$0 < p < 1$ .)

( d ) Half-Cauchy-Verteilung : Wenn (Standard) Cauchy ist, rufeeine halb Cauchy Zufallsvariable. Dann ist aus dem vorherigen Beispiel leicht dass für alle ; noch endlich ist für . $X$$Y = |X|$$\mathbb E Y^p = \infty$$p \geq 1$$\mathbb E e^{tY}$$t \in (-\infty,0]$