Die Beziehung zwischen der Gamma-Verteilung und der Normalverteilung

26

Ich habe kürzlich festgestellt, dass es notwendig ist, ein PDF für das Quadrat einer normalen Zufallsvariablen mit Mittelwert 0 abzuleiten. Aus irgendeinem Grund habe ich mich dafür entschieden, die Varianz vorher nicht zu normalisieren. Wenn ich das richtig gemacht habe, ist dieses PDF wie folgt:

N2(x;σ2)=1σ2πxex2σ2

Mir ist aufgefallen, dass dies eigentlich nur eine Parametrisierung einer Gammaverteilung ist:

N2(x;σ2)=Gamma(x;12,2σ2)

Und aus der Tatsache, dass die Summe von zwei Gammas (mit demselben Skalenparameter) einem anderen Gamma entspricht, folgt, dass das Gamma der Summe der normalen Zufallsvariablen im Quadrat entspricht .k

NΣ2(x;k,σ2)=Gamma(x;k2,2σ2)

Das war ein bisschen überraschend für mich. Auch wenn ich das weiß Verteilung - eine Verteilung der Summe der quadrierten Standard normaler RVs - war ein Sonderfall des Gamma, habe ich nicht die Gamma erkennen war im Wesentlichen nur eine Verallgemeinerung für die Summe der normalen erlaubt Zufallsvariablen beliebiger Varianz. Dies führt auch zu anderen Charakterisierungen, auf die ich vorher noch nicht gestoßen bin, wie zum Beispiel, dass die Exponentialverteilung der Summe von zwei quadratischen Normalverteilungen entspricht.χ2

Das ist mir alles etwas rätselhaft. Ist die Normalverteilung grundlegend für die Ableitung der Gammaverteilung in der oben beschriebenen Weise? Die meisten Ressourcen, die ich überprüft habe, erwähnen nicht, dass die beiden Verteilungen inhärent miteinander verwandt sind, oder beschreiben sogar, wie das Gamma abgeleitet wird. Das lässt mich denken, dass eine Wahrheit auf niedrigerer Ebene vorliegt, die ich einfach auf verschlungene Weise hervorgehoben habe?

timxyz
quelle
6
Viele Lehrbücher für Studenten zur Wahrscheinlichkeitstheorie erwähnen alle oben genannten Ergebnisse; aber vielleicht decken statistische texte diese ideen nicht ab? In jedem Fall ist eine Zufallsvariable nur wobei eine normale Standardzufallsvariable ist, und daher (für iid-Variablen) ist einfach eine skalierte Zufallsvariable, was für diejenigen, die die Wahrscheinlichkeitstheorie studiert haben, nicht überraschend ist. N(0,σ2)YiσXiXi2iYi2=σ2iXi2 χ2
Dilip Sarwate
Ich komme aus dem Bereich Computer Vision, daher begegne ich normalerweise nicht der Wahrscheinlichkeitstheorie. Keines meiner Lehrbücher (oder Wikipedia) erwähnt diese Interpretation. Vermutlich frage ich auch, was ist das Besondere an der Summe der Quadrate zweier Normalverteilungen, die es zu einem guten Modell für die Wartezeit macht (dh der Exponentialverteilung). Es fühlt sich immer noch so an, als würde mir etwas Tieferes fehlen.
Timxyz
3
Da Wikipedia definiert die Chi-Quadrat - Verteilung als eine Summe von quadratischen Normals bei en.wikipedia.org/wiki/Chi-squared_distribution#Definition und erwähnt die Chi-Quadrat ist ein Spezialfall des Gamma (bei en.wikipedia.org/wiki / Gamma_Distribution # Andere ), man kann kaum behaupten, dass diese Beziehungen nicht gut bekannt sind. Die Varianz selbst legt in allen Fällen lediglich die Maßeinheit (einen Skalenparameter) fest und führt so zu keinerlei zusätzlichen Komplikationen.
Whuber
3
Während diese Ergebnisse auf dem Gebiet der Wahrscheinlichkeitsrechnung und Statistik bekannt sind, haben Sie @timxyz gut daran getan, sie in Ihrer eigenen Analyse wiederzuentdecken.
Setzen Sie Monica
Die Verbindung ist nicht rätselhaft, da sie Mitglieder der exponentiellen Verteilungsfamilie sind, deren herausragende Eigenschaft darin besteht, dass sie durch Ersetzen von Variablen und / oder Parametern erreicht werden können. Siehe längere Antwort unten mit Beispielen.
Carl

Antworten:

18

Wie Prof. Sarwates Kommentar feststellte, sind die Beziehungen zwischen Quadratnormalen und Chi-Quadrat eine sehr weit verbreitete Tatsache - ebenso wie die Tatsache, dass ein Chi-Quadrat nur ein Sonderfall der Gamma-Verteilung ist:

XN(0,σ2)X2/σ2χ12X2σ2χ12=Gamma(12,2σ2)

Die letzte Gleichheit ergibt sich aus der Skalierungseigenschaft des Gamma.

Was die Beziehung zum Exponential betrifft, so führt genau genommen die Summe von zwei quadratischen Normalen mit dem Mittelwert Null, die jeweils durch die Varianz des anderen skaliert werden , zur Exponentialverteilung:

X1N(0,σ12),X2N(0,σ22)X12σ12+X22σ22χ22σ22X12+σ12X22σ12σ22χ22

σ22X12+σ12X22σ12σ22χ22=Gamma(1,2σ12σ22)=Exp(12σ12σ22)

Der Verdacht, dass es in der Summe zweier quadratischer Null-Mittel-Normalen "etwas Besonderes" oder "Tieferes" gibt , das "sie zu einem guten Modell für die Wartezeit macht", ist jedoch unbegründet: Was ist das Besondere an der exponentiellen Verteilung, die sie ausmacht? ist es ein gutes Modell für "Wartezeit"? Memorylessness natürlich, aber gibt es hier etwas "Tieferes" oder nur die einfache Funktionsform der Exponentialverteilungsfunktion und die Eigenschaften von ? Einzigartige Eigenschaften sind in der gesamten Mathematik verstreut und spiegeln meistens keine "tiefere Intuition" oder "Struktur" wider - sie existieren nur (zum Glück).e

Zweitens hat das Quadrat einer Variablen nur eine sehr geringe Beziehung zu ihrer Ebene. Betrachten Sie einfach in, sagen wir, :f(x)=x[2,2]

Bildbeschreibung hier eingeben

... oder die Standardnormaldichte in Abhängigkeit von der Chi-Quadrat-Dichte grafisch darstellen: Sie reflektieren und repräsentieren völlig unterschiedliche stochastische Verhaltensweisen, auch wenn sie so eng miteinander verwandt sind, da die zweite die Dichte einer Variablen ist, die das Quadrat der ersten ist. Das Normale mag eine sehr wichtige Säule des mathematischen Systems sein, das wir zur Modellierung des stochastischen Verhaltens entwickelt haben - aber sobald Sie es quadrieren, wird es zu etwas völlig anderem.

Alecos Papadopoulos
quelle
Vielen Dank, dass Sie sich insbesondere mit den Fragen in meinem letzten Absatz befasst haben.
timxyz
2
Bitte. Ich muss zugeben, ich bin froh, dass meine Antwort 26 Monate nach dem Absenden der Frage das ursprüngliche OP erreicht hat.
Alecos Papadopoulos
11

Lassen Sie uns die gestellte Frage ansprechen: Das ist alles etwas mysteriös für mich. Ist die Normalverteilung grundlegend für die Ableitung der Gammaverteilung ...? Eigentlich kein Rätsel, es ist einfach so, dass die Normalverteilung und die Gammaverteilung Mitglieder ua der exponentiellen Verteilungsfamilie sind, wobei diese Familie durch die Fähigkeit definiert ist, zwischen Gleichungsformen durch Ersetzen von Parametern und / oder Variablen umzurechnen. Als Folge gibt es viele Conversions durch Substitution zwischen Verteilungen, ein paar von denen in der Abbildung unten zusammengefasst.

Bildbeschreibung hier eingebenLEEMIS, Lawrence M .; Jacquelyn T. MCQUESTON (Februar 2008). "Univariate Verteilungsbeziehungen" (PDF). Amerikanischer Statistiker. 62 (1): 45–53. doi: 10.1198 / 000313008x270448 cite

Hier sind zwei Normal- und Gammaverteilungsbeziehungen im Detail (unter einer unbekannten Anzahl von anderen, wie z. B. über Chi-Quadrat und Beta).

1. Es folgt eine direktere Beziehung zwischen der Gammaverteilung (GD) und der Normalverteilung (ND) mit dem Mittelwert Null. Einfach ausgedrückt, die Form des GD wird normal, da sich sein Formparameter erhöhen kann. Zu beweisen, dass dies der Fall ist, ist schwieriger. Für die GD gilt

GD(z;a,b)={baza1ezbΓ(a)z>00other.

Wenn der GD-Formparameter , wird die GD-Form symmetrischer und normaler. Wenn sich jedoch der Mittelwert mit zunehmendem a erhöht , müssen wir die GD um ( a - 1 ) nach links verschiebenaa, um es stationär zu halten, und um schließlich die gleiche Standardabweichung für unser verschobenes GD beizubehalten, müssen wir den Skalenparameter (b) proportional zuverringern(a1)1akb .1a

Um eine GD in einen Grenzfall ND umzuwandeln, setzen wir die Standardabweichung auf eine Konstante ( ), indem wir b = √ lassenkund verschieben Sie den GD nach links, um einen Nullmodus zu erhalten, indem Siez=(a-1)√ einsetzenb=1akDann istGD((a-1)z=(a1)1ak+x .

GD((a1)1ak+x; a, 1ak)={(ka)aeaxka+1((a1)ka+x)a1Γ(a)x>k(1a)a0other.

axa

lima(ka)aeaxka+1((a1)ka+x)a1Γ(a)=ex22k22πk=ND(x;0,k2)

k=2a=1,2,4,8,16,32,64ND(x;0, 22)

Bildbeschreibung hier eingeben

2. Lassen Sie uns den Punkt hervorheben, dass man aufgrund der Ähnlichkeit der Form zwischen diesen Verteilungen Beziehungen zwischen der Gamma-Verteilung und der Normalverteilung aufbauen kann, indem man sie aus der Luft zieht. Als nächstes entwickeln wir eine "entfaltete" Gammaverteilungsverallgemeinerung einer Normalverteilung.

Beachten Sie zunächst, dass es die semi-unendliche Unterstützung der Gamma-Verteilung ist, die eine direktere Beziehung zur Normalverteilung verhindert. Dieses Hindernis kann jedoch beseitigt werden, wenn man die Halbnormalverteilung betrachtet, die ebenfalls eine semi-unendliche Unterstützung aufweist. Man kann also die Normalverteilung (ND) verallgemeinern, indem man sie zunächst halbnormal faltet (HND), was die verallgemeinerte Gammaverteilung (GD) betrifft, und dann für unsere Tour de Force beide "entfalten" (HND und GD) also eine verallgemeinerte ND (eine GND) zu machen.

Die verallgemeinerte Gamma-Verteilung

GD(x;α,β,γ,μ)={γe(xμβ)γ(xμβ)αγ1βΓ(α)x>μ0other,

Kann umparametriert werden, um die Halbnormalverteilung zu sein ,

GD(x;12,πθ,2,0)={2θeθ2x2ππx>00other=HND(x;θ)

θ=πσ2.

ND(x;0,σ2)=12HND(x;θ)+12HND(x;θ)=12GD(x;12,πθ,2,0)+12GD(x;12,πθ,2,0),

was das impliziert

GND(x;μ,α,β)=12GD(x;1β,α,β,μ)+12GD(x;1β,α,β,μ)=βe(|xμ|α)β2αΓ(1β),

μα>0β>0β=2β=1β(μ-α,μ+α)α=π2,β=1/2,1,4α=π2,β=2

Bildbeschreibung hier eingeben

Das Obige kann als die verallgemeinerte Normalverteilung Version 1 angesehen werden, und in verschiedenen Parametrisierungen ist es als die exponentielle Leistungsverteilung und die verallgemeinerte Fehlerverteilung bekannt, die wiederum eine von mehreren anderen verallgemeinerten Normalverteilungen sind .

Carl
quelle
2

Die Ableitung der Chi-Quadrat-Verteilung von der Normalverteilung ist weitgehend analog zur Ableitung der Gamma-Verteilung von der Exponentialverteilung.

Wir sollten dies verallgemeinern können:

  • XichmY.=ichnXichmn/m

Die Analogie ist wie folgt:

Normal- und Chi-Quadrat-Verteilungen beziehen sich auf die Summe der Quadrate

  • xich2
    f(x1,x2,...,xn)=exp(-0,5ich=1nxich2)(2π)n/2

  • XichN(0,1)

    i=1nXi2χ2(ν)

Exponential- und Gamma-Verteilungen beziehen sich auf die reguläre Summe

  • xi

    f(x1,x2,...,xn)=exp(λi=1nxi)λn

  • XiExp(λ)

    i=1nXiGamma(n,λ)


x1,x2,...xn

χ2

fχ2(n)(s)ds=es/2(2π)n/2dVdsds=es/2(2π)n/2πn/2Γ(n/2)sn/21ds=12n/2Γ(n/2)sn/21es/2ds

V(s)=πn/2Γ(n/2+1)sn/2s

Für die Gamma-Verteilung:

fG(n,λ)(s)ds=eλsλndVdsds=eλsλnnsn1n!ds=λnΓ(n)sn1eλsds

Where V(s)=snn! is the n-dimensional volume of a n-polytope with xi<s.


The gamma distribution can be seen as the waiting time Y for the n-th event in a Poisson process which is the distributed as the sum of n exponentially distributed variables.

As Alecos Papadopoulos already noted there is no deeper connection that makes sums of squared normal variables 'a good model for waiting time'. The gamma distribution is the distribution for a sum of generalized normal distributed variables. That is how the two come together.

But the type of sum and type of variables may be different. While the gamma distribution, when derived from the exponential distribution (p=1), gets the interpretation of the exponential distribution (waiting time), you can not go reverse and go back to a sum of squared Gaussian variables and use that same interpretation.

The density distribution for waiting time which falls of exponentially, and the density distribution for a Gaussian error falls of exponentially (with a square). That is another way to see the two connected.

Sextus Empiricus
quelle