Wann ist die Momenterzeugungsfunktion der charakteristischen Funktion vorzuziehen?

Sei ein Wahrscheinlichkeitsraum und sei ein Zufallsvektor. Sei die Verteilung von , einem Borel-Maß für . $(\Omega, \mathcal{F}, P)$ $X : \Omega \to \mathbb{R}^n$ $P_X = X_* P$ $X$ $\mathbb{R}^n$

Die charakteristische Funktion von ist die Funktion definiert für (die Zufallsvariable ist daher in für alle ). Dies ist die Fourier-Transformation von . $X$ $φ_{X} (t) = E [e^{i t \cdot X}] = \int_{Ω} e^{i t \cdot X} d P,$ $\varphi_X(t) = E[e^{i t \cdot X}] = \int_\Omega e^{i t \cdot X} \, dP,$ $t \in \mathbb{R}^n$ $e^{i t \cdot X}$ $L^1(P)$ $t$ $P_X$
Die Momenterzeugungsfunktion ( mgf ) von ist die Funktion definiert für alle für das das obige Integral existiert . Dies ist die Laplace-Transformation von . $X$ $M_{X} (t) = E [e^{t \cdot X}] = \int_{Ω} e^{t \cdot X} d P,$ $M_X(t) = E[e^{t \cdot X}] = \int_\Omega e^{t \cdot X} \, dP,$ $t \in \mathbb{R}^n$ $P_X$

Wir können bereits sehen, dass die charakteristische Funktion überall in , aber die mgf hat eine Domäne, die von abhängt , und diese Domäne kann nur (dies geschieht beispielsweise) für eine Cauchy-verteilte Zufallsvariable). $\mathbb{R}^n$ $X$ $\{0\}$

Trotzdem haben charakteristische Funktionen und mgf viele Eigenschaften gemeinsam, zum Beispiel:

Wenn unabhängig sind, dann ist für alle und für alle für die die mgf existieren . $X_1, \ldots, X_n$ $φ_{X_{1} + \dots + X_{n}} (t) = φ_{X_{1}} (t) \dots φ_{X_{n}} (t)$ $\varphi_{X_1 + \cdots + X_n}(t) = \varphi_{X_1}(t) \cdots \varphi_{X_n}(t)$ $t$ $M_{X_{1} + \dots + X_{n}} (t) = M_{X_{1}} (t) \dots M_{X_{n}} (t)$ $M_{X_1 + \cdots + X_n}(t) = M_{X_1}(t) \cdots M_{X_n}(t)$ $t$
Zwei Zufallsvektoren und haben genau dann die gleiche Verteilung, wenn für alle . Das mgf-Analogon dieses Ergebnisses ist, dass wenn für alle in einer Nachbarschaft von , und die gleiche Verteilung haben. $X$ $Y$ $\varphi_X(t) = \varphi_Y(t)$ $t$ $M_X(t) = M_Y(t)$ $t$ $0$ $X$ $Y$
Charakteristische Funktionen und mgFs gemeinsamer Verteilungen haben oft ähnliche Formen. Wenn zum Beispiel ( dimensionale Normalen mit Mittelwert und Kovarianzmatrix ), dann ist und $X \sim N_n(\mu, \Sigma)$ $n$ $\mu$ $\Sigma$ $φ_{X} (t) = \exp (i μ \cdot t - \frac{1}{2} t \cdot (Σ t))$ $\varphi_X(t) = \exp\left(i \mu\cdot t - \frac{1}{2} t \cdot (\Sigma t)\right)$ $M_{X} (t) = \exp (μ \cdot t - \frac{1}{2} t \cdot (Σ t)) .$ $M_X(t) = \exp\left(\mu\cdot t - \frac{1}{2} t \cdot (\Sigma t)\right).$
Wenn einige milde Annahmen zutreffen, können sowohl die charakteristische Funktion als auch die mgf unterschieden werden, um Momente zu berechnen.
Der Kontinuitätssatz von Lévy liefert ein Kriterium für die Bestimmung, wann eine Folge von Zufallsvariablen in der Verteilung zu einer anderen Zufallsvariablen konvergiert, indem die Konvergenz der entsprechenden charakteristischen Funktionen verwendet wird. Es gibt einen entsprechenden Satz für mgf ( Curtiss 1942, Satz 3 ).

Angesichts der Tatsache, dass charakteristische Funktionen und mgf häufig für denselben Zweck verwendet werden und dass eine charakteristische Funktion immer existiert, während eine mgf nicht immer existiert, scheint es mir, dass man es oft vorziehen sollte, mit charakteristischen Funktionen gegenüber mgf zu arbeiten.

Fragen.

Was sind einige Beispiele, bei denen mgFs nützlicher sind als charakteristische Funktionen?

Was kann man mit einem mgf machen, was man mit einer charakteristischen Funktion nicht machen kann?

mgf characteristic-function Artem Mavrin
quelle

Ist der Schlüssel zu dieser Frage nicht das Wort "einleitend" am Ende? Wäre es pädagogisch sinnvoll, irgendetwas, das die Analyse komplexer Zahlen beinhaltet, in einen Kurs einzuführen, der nur eine minimale Exposition gegenüber (und keinen Komfort mit) Elementarrechnung voraussetzt und oft sogar nicht?

whuber

@whuber Das war etwas, worüber ich auch nachgedacht habe, aber ich möchte nicht, dass meine Frage sich auf Pädagogik bezieht, also sollte ich vielleicht den letzten Absatz entfernen

Artem Mavrin

Eine teilweise Antwort finden Sie hier: stats.stackexchange.com/questions/304066/…

kjetil b halvorsen

Antworten:

Das ist eine gute, aber weit gefasste Frage, daher kann ich nicht versprechen, dass ich alles darüber sagen werde, was gesagt werden sollte. Die kurze Antwort lautet, dass sich konkurrierende Techniken nicht darin unterscheiden, was sie können, sondern darin, wie ordentlich sie es können.

Charakteristische Funktionen erfordern aufgrund der Rolle komplexer Zahlen besondere Vorsicht. Es ist nicht einmal so, dass der Schüler über komplexe Zahlen Bescheid wissen muss. Es ist so, dass der Kalkül subtile Fallstricke hat. Zum Beispiel kann ich den MGF einer Normalverteilung erhalten, indem ich das Quadrat in einer Substitution mit variabler Verschiebung vervollständige, aber viele Quellen geben unachtsam vor, dass der Ansatz mit charakteristischen Funktionen genauso einfach ist. Dies ist nicht der Fall, da die berühmte Normalisierung des Gaußschen Integrals nichts über die Integration von mit aussagt . Oh, wir können das Integral immer noch bewerten, wenn wir mit Konturen vorsichtig sind, und tatsächlich gibt es einen noch einfacheren Ansatz, bei dem wir durch die Integration von Teilen zeigen, dass ein $ic+\mathbb{R}$ $c\in\mathbb{R}\backslash\{ 0\}$ $N(0,\,1)$ Die charakteristische Funktion der Verteilung erfüllt . Der MGF-Ansatz ist jedoch noch einfacher, und die meisten Verteilungen, die die Schüler frühzeitig benötigen, haben einen konvergenten MGF entweder auf einem Liniensegment (z. B. Laplace) oder einer halben Linie (z. B. Gamma, geometrisch, negatives Binomial) oder auf der gesamten (zB Beta, Binomial, Poisson, Normal). In jedem Fall reicht das aus, um Momente zu studieren. $\phi (t)$ $\dot{\phi}=-t\phi$ $\mathbb{R}$

Ich glaube nicht, dass Sie etwas nur mit dem MGF tun können , aber Sie verwenden das, was für die jeweilige Aufgabe am einfachsten ist. Hier ist eine für Sie: Was ist der einfachste Weg, um die Momente einer Poisson-Verteilung zu berechnen? Ich würde argumentieren, dass es wieder eine andere Technik gibt, die wahrscheinlichkeitserzeugende Funktion . Dann ergibt das fallende Pochhammer-Symbol . Im Allgemeinen lohnt es sich, den PGF für diskrete Verteilungen zu verwenden, den MGF für kontinuierliche Verteilungen, die entweder begrenzt sind oder einen überexponentiellen Zerfall in den PDF-Schwänzen aufweisen, und die charakteristische Funktion, wenn Sie sie wirklich benötigen. $G(t)=\mathbb{E}t^X=\exp \lambda (t-1)$ $(X)_k$ $\mathbb{E}(X)_k=G^{(k)}(1)=\lambda^k$

Und abhängig von der Frage, die Sie stellen, ist es möglicherweise ratsam, die Funktion zur Erzeugung von Kumulanten zu verwenden, sei es als Logarithmus des MGF oder des CF definiert. Zum Beispiel lasse ich es als Übung, dass die log-MGF-Definition von Kumulanten für das Maximum von iids ergibt. , wodurch der Mittelwert und die Varianz ( bzw. ) viel einfacher berechnet werden können, als wenn Sie sie in Momenten geschrieben hätten. $n$ $\operatorname{Exp}(1)$ $\kappa_m=(m-1)!\sum_{k=1}^n k^{-m}$ $\kappa_1$ $\kappa_2$

JG
quelle

Ich verstehe Ihre Bemerkung zu "Integration auf " nicht, da afaik das cf als Integral einer komplexwertigen Funktion auf Es muss nicht als Konturintegral betrachtet werden. Für diejenigen, die sich mit komplexen Zahlen nicht wohl fühlen, kann es sowieso als ein Paar realer Integrale angesehen werden. Es ist unklar, wie die mgf in irgendeiner Hinsicht "einfacher" ist. In der Tat ist das Vgl. Einfacher in dem Sinne, dass man sich keine Sorgen um die Konvergenz machen muss.

i c + R,

$ic+\mathbb R,$

R .

$\mathbb R.$

whuber

@whuber Was ich meine ist .

\int_{R} \frac{1}{\sqrt{2 π}} \exp (- \frac{x^{2}}{2} + i t x) d x = \int_{- i t + R} \frac{1}{\sqrt{2 π}} \exp (- \frac{y^{2}}{2} - \frac{t^{2}}{2}) d t

$\int_{\Bbb R}\frac{1}{\sqrt{2\pi}}\exp (-\frac{x^2}{2}+itx)dx=\int_{-it+\Bbb R}\frac{1}{\sqrt{2\pi}}\exp (-\frac{y^2}{2}-\frac{t^2}{2})dt$

Das habe ich auch vermutet. Aber ist das nicht nur ein Artefakt dafür, wie man das Integral bewerten könnte, anstatt ein inhärentes Merkmal des CF selbst zu sein?

whuber

@whuber Das Problem ist, dass viele Quellen so tun, als ob die Substitution so einfach funktioniert wie im MGF-Fall, was nicht der Fall ist.

Würde es Ihnen etwas ausmachen, ein wenig näher darauf einzugehen, warum dies nicht der Fall ist? Ich sehe in diesem speziellen Fall nichts Problematisches; und im Allgemeinen würde man, da das ursprüngliche Integral über konvergent ist, keine Probleme mit Substitutionen dieser Art erwarten.

R

$\mathbb R$

whuber

Wenn Ihre Zufallsvariable alle ihre Momente hat, existiert der MGF und ist im Allgemeinen mindestens so nützlich wie die charakteristische Funktion für Beweise.

Zur Beantwortung Ihrer Frage, wenn der MGF vorhanden ist , es bildet die Grundlage für viele Extremwertberechnungen in Bezug auf . Das einfachste davon ist (für ), $X$ $t\geq 0$

P (X > r) = P (e^{t X} > e^{t r}) \leq M_{X} (t) / e^{t r} .

$P(X>r)=P(e^{tX}>e^{tr})\leq M_X(t)/e^{tr}.$

Hier können die rhs nun über minimiert werden . Seltsamerweise ist diese Grenze eine der wenigen einfachen Möglichkeiten, Schätzungen über seltene Ereignisse zu erhalten. Der allgemeine Bereich ist die Theorie der großen Abweichungen , in der man eine Menge Arbeit leisten muss, um bessere (engere) Grenzen zu erreichen. Ein häufiges Beispiel hierfür ist die Betrachtung von . Wenn also der MGF von existiert, kann man zeigen, dass in exponentiell abfällt . Dies ist allgemeiner als Cramers Theorem bekannt . $t$ $S_n=X_1+\cdots + X_n$ $X_1$ $P(|S_n-E[X]|>nr)$ $n$

Hier einige kompakte Hinweise dazu.

Alex R.
quelle

Alles in Ihrem ersten Absatz wird bereits in der Frage erwähnt, mit Ausnahme des letzten Satzes, den ich für falsch halte. Zum Beispiel existieren alle Momente der logarithmischen Normalverteilung, aber ihre mgf ist für jede positive reelle Zahl undefiniert. Der zweite Teil Ihrer Antwort ist sehr nützlich, da er eine Anwendung von mgf hervorhebt, die anscheinend keine charakteristische Funktion analog hat

Artem Mavrin