Wie würden Sie die Moment Generating Function (MGF) für Laien erklären?

15

Was ist eine Momenterzeugungsfunktion (MGF)?

Können Sie es in Laienbegriffen und zusammen mit einem einfachen und einfachen Beispiel erklären?

Bitte beschränken Sie sich so weit wie möglich auf formale mathematische Notationen.

user366312
quelle
1
Sie wollen ein einfaches Beispiel ... aber ohne mathematische Notation? Ich bin mir nicht sicher, ob so etwas sehr einfach ist - zumindest nicht ohne das Risiko, einen irreführenden Eindruck davon zu hinterlassen, womit Sie es zu tun haben. Ich nehme an, man könnte den mgf einer entarteten Zufallsvariablen angeben, die immer 0 ohne viel mathematische Notation zu benötigen, aber es wird nicht aufschlussreich sein, wenn Sie mgfs wirklich verstehen wollen.
Glen_b -Reinstate Monica
1
Ich bin mir nicht sicher, ob es eine intuitive Art gibt, es zu verstehen, man könnte es einfach als eine Art "Kodierung" einer Distribution betrachten (zumindest wenn es existiert, funktioniert diese Idee mit charakteristischen Funktionen ein bisschen besser).
Dsaxton
1
Eine momentgenerierende Funktion - sofern vorhanden - ist eine Methode, um alle nicht-negativen ganzzahligen Momente einer Zufallsvariablen in eine Funktion zu kodieren, aus der sie erneut extrahiert werden können. Mit mgfs können bestimmte Berechnungen durchgeführt werden, die auf andere Weise manchmal nicht so einfach sind. Ich erwarte nicht, dass das viel hilft.
Glen_b
1
Ich bin sicher, Sie haben Joe Blitzteins Antwort auf die identische Frage zu Quora
Antoni Parellada

Antworten:

18

Nehmen wir an, dass eine gleichungsfreie Intuition nicht möglich ist, und bestehen Sie immer noch darauf, die Mathematik auf das Wesentliche zu beschränken, um eine Vorstellung davon zu bekommen, was vor sich geht: Wir versuchen, die statistischen Momente zu erhalten , die nach dem obligatorischen Bezug auf die Physik definieren wir als den erwarteten Wert einer Potenz einer Zufallsvariablen. Für eine kontinuierliche Zufallsvariable ist das rohe k te Moment nach LOTUS :

(1)E[Xk]=Xkpdfdx

Die Moment erzeugende Funktion ,

MX(t):=E[etX],
ist ein Weg , um diese integral zu gehen um (Gleichung 1) , indem stattdessen die Durchführung:

(2)E[etX]=etXpdfdx

Warum? Weil es einfacher ist und es eine fantastische Eigenschaft des MGF gibt, die sich aus der Erweiterung der Maclaurin-Reihe von e ergibtetX

etX=1+X1!t+X22!t2+X33!t3+

Die Erwartung beider Seiten dieser Potenzreihe nehmen:

MX(t)=E[etX](3)=1+E[X]1!t+E[X2]2!t2+E[X3]3!t3+

Die Momente erscheinen auf dieser polynomischen "Wäscheleine" "thronend", bereit, durch einfaches Differenzieren von k Zeiten und Bewerten bei Null gekeult zu werden, sobald wir die einfachere Integration (in Gleichung (2)) nur einmal für alle Momente durchlaufen haben ! Die Tatsache, dass die Integration einfacher ist, wird am deutlichsten, wenn das PDF exponentiell ist.

So stellen Sie den k ten Moment wieder her:

MX(k)(0)=dkdtkMX(t)|t=0

Die Tatsache, dass letztendlich eine Differenzierung erforderlich ist, macht es zu einem nicht kostenlosen Mittagessen - am Ende handelt es sich um eine zweiseitige Laplace-Transformation des PDF mit einem geänderten Vorzeichen im Exponenten:

L{pdf(x)}(s)=esxpdf(x)dx

so dass

(4)MX(t)=L{pdf(x)}(s).

Dies gibt uns in der Tat einen physikalischen Zugang zur Intuition. Die Laplace-Transformation wirkt auf das pdf und zerlegt es in Momente. Die Ähnlichkeit mit einer Fourier-Transformation ist unvermeidlich : Eine FT ordnet eine Funktion einer neuen Funktion auf der realen Linie zu, und Laplace ordnet eine Funktion einer neuen Funktion auf der komplexen Ebene zu. Die Fourier-Transformation drückt eine Funktion oder ein Signal als eine Reihe von Frequenzen aus, während die Laplace-Transformation eine Funktion in ihre Momente auflöst . Eine andere Art, Momente zu erhalten, ist die Fourier-Transformation ( charakteristische Funktion ). Der exponentielle Term in der Laplace - Transformation ist im Allgemeinen der Form est mits=σ+iω , das denreellen Exponentialen und imaginären Sinuskurven entspricht, und liefert Diagramme wiedas folgende:


[ Vom Leitfaden für Wissenschaftler und Ingenieure zur Signalverarbeitung von Steven W. Smith ]


Daher zerlegt die MX(t) -Funktion das pdf irgendwie in seine "konstituierenden Frequenzen", wenn σ=0. Aus Gl. (4):

MX(t)=E[esX]=esxpdf(x)dx=e(σ+iω)xpdf(x)dx=eσxeiωxpdf(x)dx

was uns mit dem falschen Integral des Teils des Ausdrucks in rot zurücklässt, der der Fouriertransformation des PDF entspricht.

Im Allgemeinen besteht die Intuition der Laplace-Transformationspole einer Funktion darin, Informationen über die Exponential- (Abfall-) und Frequenzkomponenten der Funktion (in diesem Fall das PDF) bereitzustellen.


Bei der Beantwortung der Frage unter Kommentare zum Wechsel von Xk zu etx handelt es sich um einen völlig strategischen Schritt: Ein Ausdruck folgt nicht dem anderen. Hier ist eine Analogie: Wir haben ein eigenes Auto und können jedes Mal in die Stadt fahren, wenn wir uns um ein Geschäft kümmern müssen (Lesen, Integrieren von Gleichung (1) egal wie schwierig es für jeden einzelnen Moment ist). . Stattdessen können wir etwas völlig anderes machen: Wir können zur nächsten U-Bahn-Station fahren (lies, löse Gleichung (2) nur einmal) und von dort aus mit öffentlichen Verkehrsmitteln jeden einzelnen Ort erreichen, den wir besuchen müssen (lies, hol irgendein kAbleitung des Integrals in Gleichung (2) , um den k ten Moment zu extrahieren , den wir benötigen, wobei wir (dank Gleichung (3) ) wissen, dass sich alle Momente dort "verstecken" und isoliert sind, indem wir bei 0 auswerten ).

Antoni Parellada
quelle
2
Wie funktioniert ersetzen E [ X k ] ? (Aus heiterem Himmel?)E[etX]E[Xk]
user366312
2
Ich wünschte, die Laien, die diese Antwort verstehen,
wären
3

M(t)=etμ+1/2σ2t2
ddtM(t)|t=0=μ+σ2t|t=0=μ

Da dieser MGF außerdem alles über die Verteilung codiert , können Sie Operationen auf alle Merkmale der Verteilung gleichzeitig anwenden, wenn Sie wissen, wie die Funktion zu manipulieren ist! Warum verwenden wir nicht immer MGF? Erstens ist MGF nicht in allen Situationen das einfachste Werkzeug. Zweitens existiert MGF nicht immer.

Über dem Laien

f(x)=12πex2/2

Sie können das Moment wie Mittelwert und Standardabweichung berechnen und es für transformierte Variablen und Funktionen für Zufallsnormalen usw. verwenden.

Sie können sich das MGF der Normalverteilung als Alternative zu PDF vorstellen. Es enthält die gleiche Menge an Informationen. Ich habe bereits gezeigt, wie man den Mittelwert erhält.

σ2=x212πex2/2dx=?
M(t)=et2/2:
σ2=d2dt2M(t)|t=0=ddtt|t=0=1

Aksakal
quelle
1
Can you please expand on the "everything" that it encodes about the distribution?
ColorStatistics
2
To appreciate the point made by @ColorStatistics, please see stats.stackexchange.com/questions/25010.
whuber
@whuber: Thank you, whuber. I'll study that reference. This is a topic I am looking to understand better.
ColorStatistics
How can we prove that MGF & PDF contain the same amount of information?
Aerin