Welches hat den schwereren Schwanz, lognormal oder gamma?

(Dies basiert auf einer Frage, die ich gerade per E-Mail erhalten habe. Ich habe einen Kontext aus einem vorherigen kurzen Gespräch mit derselben Person hinzugefügt.)

Letztes Jahr wurde mir gesagt, dass die Gammaverteilung schwerer ist als die logarithmische Verteilung, und seitdem wurde mir mitgeteilt, dass dies nicht der Fall ist.

• Welches ist schwerer Schwanz?

• Mit welchen Ressourcen kann ich die Beziehung untersuchen?

Das (rechte) Ende einer Distribution beschreibt ihr Verhalten bei großen Werten. Das richtige Objekt zu studieren ist nicht seine Dichte - was in vielen praktischen Fällen gibt es nicht - sondern seine Verteilungsfunktion . Insbesondere, weil für große Argumente (nach dem Gesetz der Gesamtwahrscheinlichkeit) asymptotisch auf steigen muss , interessiert uns, wie schnell es sich dieser Asymptote nähert: Wir müssen das Verhalten seiner Überlebensfunktion als .$F$$F$$1$1 - F ( x ) x → ∞$x$ $1- F(x)$$x \to \infty$

Genauer gesagt, eine Verteilung für eine Zufallsvariable ist „schwerer“ als ein anderen vorgesehen , daß schließlich mehr Wahrscheinlichkeit bei großen Werten als dies . Dies kann formalisiert werden: Es muss eine endliche Anzahl existieren so dass für alle ,$F$$X$$G$ $F$$G$$x_0$$x \gt x_0$

Die rote Kurve in dieser Abbildung ist die Überlebensfunktion für eine Poisson -Verteilung. Die blaue Kurve gilt für eine Gamma -Verteilung, die dieselbe Varianz aufweist. Schließlich übersteigt die blaue Kurve immer die rote Kurve, was zeigt, dass diese Gamma-Verteilung einen schwereren Schwanz als diese Poisson-Verteilung hat. Diese Verteilungen können unter Verwendung von Dichten nicht ohne weiteres verglichen werden, da die Poisson-Verteilung keine Dichte aufweist.$(3)$$(3)$

Es ist wahr , dass , wenn die Dichte und exist und für dann ist schwerer als Schwanz . Die Umkehrung ist jedoch falsch - und dies ist ein zwingender Grund, die Definition der Schwanzschwere eher auf Überlebensfunktionen als auf Dichten zu stützen, selbst wenn die Analyse der Schwänze häufig einfacher unter Verwendung der Dichten durchgeführt werden kann.$f$$g$$f(x) \gt g(x)$$x \gt x_0$$F$$G$

Gegenbeispiele können konstruiert werden, indem eine diskrete Verteilung von positivem, unbegrenztem Support verwendet wird, die dennoch nicht schwerer als (Diskretisierung von wird den Trick tun). Verwandeln Sie dies in eine stetige Verteilung, indem Sie die Wahrscheinlichkeitsmasse von an jedem ihrer Stützpunkte , geschrieben , durch eine skalierte Beta -Verteilung mit Stützung in einem geeigneten Intervall und gewichtet mit . Mit einer kleinen positiven Zahl wählen Sie$H$$G$$G$$H$$k$$h(k)$$(2,2)$$[k-\varepsilon(k), k+\varepsilon(k)]$$h(k)$$\delta,$$\varepsilon(k)$ausreichend klein, um sicherzustellen, dass die Peakdichte dieser skalierten Beta-Verteilung überschreitet . Durch die Konstruktion, die Mischung ist eine kontinuierliche Verteilung dessen Schwanzes Aussehen wie die von (es ist gleichförmig ein klein wenig um einen Betrag senken ), hat aber in seinen spikes Dichte am Träger von und all diese Spitzen haben Punkte, an denen sie die Dichte von überschreiten . Somit ist heller als aber egal wie weit draußen wir im Schwanz sind, es wird Punkte geben, an denen seine Dichte die von übersteigt .$f(k)/\delta$$\delta H + (1-\delta )G$$G^\prime$$G$$\delta$$H$$f$$G^\prime$$F$$F$

Die rote Kurve ist das PDF einer Gamma-Verteilung , die goldene Kurve ist das PDF einer logarithmischen Normalverteilung und die blaue Kurve (mit Spitzen) ist das PDF einer Mischung die wie im Gegenbeispiel konstruiert wurde. (Beachten Sie die logarithmische Dichteachse.) Die Überlebensfunktion von in etwa der einer Gamma-Verteilung (mit schnell abklingenden Wackelbewegungen): Sie wird schließlich kleiner als die von , obwohl die PDF-Datei immer darüber hinausgeht von egal wie weit wir in die Schwänze schauen.$G$$F$$G^\prime$$G^\prime$$F$$F$

Diskussion

Übrigens können wir diese Analyse direkt für die Überlebensfunktionen von lognormalen und Gamma-Verteilungen durchführen, indem wir sie um , um ihr asymptotisches Verhalten zu ermitteln, und daraus schließen, dass alle Lognormale einen schwereren Schwanz haben als alle Gamma-Verteilungen . Da diese Verteilungen jedoch "schöne" Dichten aufweisen, kann die Analyse einfacher durchgeführt werden, indem gezeigt wird, dass für ausreichend großes eine lognormale Dichte eine Gammadichte überschreitet. Verwechseln wir diese analytische Annehmlichkeit jedoch nicht mit der Bedeutung eines schweren Schwanzes.$x=\infty$$x$

Auch wenn höhere Momente und ihre Varianten (wie Schiefe und Kurtosis) ein wenig über die Schwänze aussagen, liefern sie keine ausreichenden Informationen. Als einfaches Beispiel können wir jede logarithmische Normalverteilung auf einen so großen Wert abschneiden, dass sich eine bestimmte Anzahl ihrer Momente kaum ändert. Dabei haben wir jedoch ihren Schwanz vollständig entfernt, sodass sie leichter ist als jede Verteilung mit unbegrenzten Grenzen Unterstützung (wie ein Gamma).

Ein fairer Einwand gegen diese mathematischen Verzerrungen wäre, darauf hinzuweisen, dass das Verhalten, das sich so weit im Verborgenen befindet, keine praktische Anwendung hat, weil niemand jemals glauben würde, dass ein Verteilungsmodell bei solch extremen (vielleicht physikalisch unerreichbaren) Werten gültig sein wird. Dies zeigt jedoch, dass wir bei Anwendungen vorsichtig sein müssen, um festzustellen, welcher Teil des Schwanzes von Belang ist, und ihn entsprechend zu analysieren. (In diesem Sinne können beispielsweise Hochwasserrücklaufzeiten verstanden werden: 10-Jahres-Hochwasser, 100-Jahres-Hochwasser und 1000-Jahres-Hochwasser kennzeichnen bestimmte Abschnitte des Endes der Hochwasserverteilung.) Es gelten jedoch die gleichen Prinzipien: Grundlegender Gegenstand der Analyse ist hier die Verteilungsfunktion und nicht ihre Dichte.

Sowohl das Gamma als auch das Lognormal sind rechtwinklige, konstante Variationskoeffizientenverteilungen auf , und sie sind häufig die Grundlage für "konkurrierende" Modelle für bestimmte Arten von Phänomenen.$(0,\infty)$

Es gibt verschiedene Möglichkeiten, die Schwere eines Schwanzes zu definieren, aber in diesem Fall zeigen meines Erachtens alle üblichen, dass das lognormal schwerer ist. (Worüber die erste Person vielleicht gesprochen hat, ist das, was nicht im hinteren Teil, sondern ein wenig rechts vom Modus abläuft (etwa um das 75. Perzentil in der ersten Darstellung unten, die für das Lognormal knapp unter 5 liegt) und das Gamma knapp über 5.)

Lassen Sie uns die Frage jedoch zunächst auf sehr einfache Weise untersuchen.

Unten sind Gamma- und Lognormal-Dichten mit Mittelwert 4 und Varianz 4 (oberes Diagramm - Gamma ist dunkelgrün, Lognormal ist blau) und dann das Log der Dichte (unten) aufgeführt, damit Sie die Trends in den Schwänzen vergleichen können:

In der oberen Darstellung sind kaum Details zu erkennen, da sich die gesamte Aktion rechts von 10 befindet. In der zweiten Darstellung ist es jedoch ziemlich klar, dass das Gamma viel schneller nach unten geht als das logarithmische Normal.

Eine andere Möglichkeit, die Beziehung zu untersuchen, besteht darin, die Dichte der Protokolle wie in der Antwort hier zu betrachten . Wir sehen, dass die Dichte der Logs für das Lognormal symmetrisch ist (es ist normal!), und dass für das Gamma der linke Versatz mit einem leichten Schwanz rechts ist.

Wir können es algebraisch machen, wobei wir das Verhältnis der Dichten als (oder das Protokoll des Verhältnisses) betrachten können. Sei eine Gammadichte und lognormal:$x\rightarrow\infty$$g$$f$

Der Term in [] ist ein Quadrat in , während der verbleibende Term in linear abnimmt . Egal, was , dass irgendwann schneller sinkt als der quadratische Anstieg, unabhängig von den Parameterwerten . In der Grenze als nimmt der logarithmische Wert des Dichtenverhältnisses in Richtung , was bedeutet, dass das Gamma-PDF letztendlich viel kleiner als das logarithmische PDF ist und relativ weiter abnimmt. Wenn Sie das Verhältnis in die andere Richtung nehmen (mit lognormal oben), muss es eventuell über alle Grenzen hinaus ansteigen.$\log(x)$$x$$-x/\beta$$x\rightarrow\infty$$-\infty$

Das heißt, jedes gegebene Lognormal ist schließlich schwerer als irgendein Gamma.

Andere Definitionen der Schwere:

Manche Menschen interessieren sich für Schiefe oder Kurtosis, um die Schwere des rechten Schwanzes zu messen. Bei einem gegebenen Variationskoeffizienten ist der logarithmische Normalwert sowohl schiefer als auch kurtotischer als der gamma- Wert . **

Beispiel: Bei einer Schiefe hat das Gamma eine Schiefe von 2CV, während die logarithmische Norm 3CV + CV beträgt .$^3$

Es gibt einige technische Definitionen für verschiedene Maße, wie schwer die Schwänze hier sind . Vielleicht möchten Sie einige dieser Distributionen ausprobieren. Das Lognormal ist ein interessanter Sonderfall in der ersten Definition - alle seine Momente existieren, aber seine MGF konvergieren nicht über 0, während die MGF für das Gamma in einer Nachbarschaft um Null konvergieren.

-

** Wie Nick Cox weiter unten erwähnt, ist die übliche Transformation zur Annäherung an die Normalität für das Gamma, die Wilson-Hilferty-Transformation, schwächer als das Protokoll - es ist eine Kubikwurzeltransformation. Bei kleinen Werten des Formparameters wurde stattdessen die vierte Wurzel erwähnt, siehe die Diskussion in dieser Antwort , aber in beiden Fällen ist es eine schwächere Transformation, um eine Nahezu-Normalität zu erreichen.

Der Vergleich der Schiefe (oder Kurtosis) deutet nicht auf eine notwendige Beziehung im Extremschwanz hin, sondern sagt etwas über das durchschnittliche Verhalten aus. aber es kann aus diesem Grund besser funktionieren, wenn der ursprüngliche Punkt nicht über den extremen Schwanz gemacht wurde.

Ressourcen : Es ist einfach, Programme wie R oder Minitab oder Matlab oder Excel zu verwenden, oder was auch immer Sie möchten, um Dichten und Log-Dichten und Log-Verhältnisse von Dichten zu zeichnen ... und so weiter, um zu sehen, wie die Dinge in bestimmten Fällen ablaufen. Das würde ich vorschlagen, um damit zu beginnen.

Obwohl Kurtosis mit der Schwere von Schwänzen zusammenhängt, würde sie mehr zur Vorstellung von Fettschwanzverteilungen beitragen und verhältnismäßig weniger zur Schwere von Schwänzen selbst, wie das folgende Beispiel zeigt. Hier spucke ich jetzt aus, was ich oben und unten in den Posts gelernt habe. Das sind wirklich exzellente Kommentare. Erstens ist die Fläche eines rechten Schwanzes die Fläche von x bis einer -Dichtefunktion, AKA die Überlebensfunktion . Für die logarithmische Normalverteilung und die Gamma-Verteilung$\infty$$f(x)$$1-F(t)$$\frac{e^{-\frac{(\log (x)-\mu )^2}{2 \sigma ^2}}}{\sqrt{2 \pi } \sigma x};x\geq 0$$\frac{\beta ^{\alpha } x^{\alpha -1} e^{-\beta x}}{\Gamma (\alpha )};x\geq 0$Vergleichen wir ihre jeweiligen Überlebensfunktionen und grafisch. Dazu setze ich willkürlich die jeweiligen Varianzen und , sowie ihre jeweiligen überschüssigen Kurtosen und gleich mit und gelöst nach . Das zeigt$\frac{1}{2} \text{erfc}\left(\frac{ \log (x)-\mu}{\sqrt{2} \sigma}\right)$$Q(\alpha ,\beta x)=\frac{\Gamma (\alpha , \beta x)}{\Gamma (\alpha )}$$\left(e^{\sigma ^2}-1\right) e^{2 \mu +\sigma ^2}$$\frac{\alpha }{\beta ^2}$$3 e^{2 \sigma ^2}+2 e^{3 \sigma ^2}+e^{4 \sigma ^2}-6$$\frac{6}{\alpha }$$\mu =0, \sigma =0.8$$\alpha \to 0.19128,\beta \to 0.335421$

die Überlebensfunktion für die Lognormalverteilung (LND) in blau und die Gammaverteilung (GD) in orange. Dies bringt uns zu unserer ersten Vorsicht. Das heißt, wenn diese Handlung alles wäre, was wir untersuchen würden, könnten wir den Schluss ziehen, dass der Schwanz für GD schwerer ist als für LND. Dass dies nicht der Fall ist, wird durch Erweitern der x-Achsen-Werte des Diagramms gezeigt

Diese Darstellung zeigt, dass 1) sich die rechten Schwanzbereiche von LND und GD auch bei gleichen Kurtosen unterscheiden können. 2) Allein diese grafische Interpretation birgt Gefahren, da Ergebnisse für feste Parameterwerte nur in einem begrenzten Bereich angezeigt werden können. Es besteht daher ein Bedarf, allgemeine Ausdrücke für das Verhältnis der begrenzenden Überlebensfunktionen von . Mit unendlichen Serienerweiterungen konnte ich das nicht machen. Ich war jedoch in der Lage, dies zu tun, indem ich die Vermittlung von terminalen oder asymptotischen Funktionen verwendete, die keine eindeutigen Funktionen sind und bei denen für die Schwänze der rechten Hand dann ist ausreichend für und$\lim_{x\to \infty } \, \frac{S(\text{LND},x)}{S(\text{GD},x)}$$\lim_{x\to \infty } \, \frac{F(x)}{G(x)}=1$$F(x)$$G(x)$gegenseitig asymptotisch sein. Mit der gebotenen Sorgfalt beim Auffinden dieser Funktionen kann eine Untergruppe von einfacheren Funktionen als die Überlebensfunktionen selbst identifiziert werden, die mit mehr als einer Dichtefunktion gemeinsam oder gemeinsam genutzt werden können, beispielsweise können zwei verschiedene Dichtefunktionen gemeinsam genutzt werden ein begrenzender exponentieller Schwanz. In der vorherigen Version dieses Beitrags wurde dies als "zusätzliche Komplexität beim Vergleichen von Überlebensfunktionen" bezeichnet. Beachten Sie, dass und (im Übrigen und nicht unbedingt und$\lim_{u\to \infty } \, \frac{\text{erfc}(u)}{\frac{e^{-u^2}}{\sqrt{\pi } u}}=1$$\lim_{u\to \infty } \, \frac{\Gamma (\alpha ,u)}{e^{-u} u^{\alpha -1}}=1$$\text{erfc}(u)<\frac{e^{-u^2}}{\sqrt{\pi } u}$$\Gamma (\alpha ,u )<e^{-u} u^{\alpha -1}$ . Das heißt, es ist nicht erforderlich, eine Obergrenze zu wählen, sondern nur eine asymptotische Funktion. Hier schreiben wir und wobei das Verhältnis der Begriffe der rechten Hand die gleiche Grenze wie als die linke Hand Begriffe. Vereinfachung des Grenzverhältnisses von Termen der rechten Hand ergibt$\frac{1}{2} \text{erfc}\left(\frac{\log (x)-\mu }{\sqrt{2} \sigma }\right)<\frac{e^{-\left(\frac{\log (x)-\mu }{\sqrt{2} \sigma }\right)^2}}{\frac{2 \left(\sqrt{\pi } (\log (x)-\mu )\right)}{\sqrt{2} \sigma }}$$\frac{\Gamma (\alpha ,\beta x)}{\Gamma (\alpha )}<\frac{e^{-\text{$\beta $x}} (\beta x)^{\alpha -1}}{\Gamma (\alpha )}$$x\to \infty$$\lim_{x\to \infty } \, \frac{\sigma \Gamma (\alpha ) (\beta x)^{1-\alpha } e^{\beta x-\frac{(\mu -\log (x))^2}{2 \sigma ^2}}}{\sqrt{2 \pi } (\log (x)-\mu )}=\infty$ bedeutet, dass für x ausreichend groß die LND-Schwanzfläche ist im Vergleich zum GD-Heckbereich beliebig groß, unabhängig von den Parameterwerten. Dies wirft ein weiteres Problem auf. Wir haben nicht immer Lösungen, die für alle Parameterwerte zutreffen. Daher kann es irreführend sein, nur grafische Darstellungen zu verwenden. Beispielsweise ist der rechte Endbereich der Gammaverteilung größer als der Endbereich der Exponentialverteilung, wenn , kleiner als der Exponentialbereich, wenn und die GD ist genau eine Exponentialverteilung, wenn .$\alpha < 1$$\alpha >1$$\alpha =1$

Was nützt es dann, die Logarithmen des Verhältnisses der Überlebensfunktionen zu nehmen, da wir offensichtlich keine Logarithmen benötigen, um ein begrenzendes Verhältnis zu finden? Viele Verteilungsfunktionen enthalten exponentielle Terme, die einfacher aussehen, wenn der Logarithmus verwendet wird. Wenn das Verhältnis im Grenzwert mit zunehmendem x gegen unendlich geht, wird dies auch beim Logarithmus der Fall sein. In unserem Fall könnten wir , was für manche Leute einfacher zu betrachten ist. Wenn das Verhältnis der Überlebensfunktionen zu Null geht, geht der Logarithmus dieses Verhältnisses zu$\lim_{x\to \infty } \, \left(\log \left(\frac{\sigma \Gamma (\alpha ) (\beta x)^{1-\alpha }}{\sqrt{2 \pi } (\log (x)-\mu )}\right)+\beta x-\frac{(\mu -\log (x))^2}{2 \sigma ^2}\right)=\infty$$-\infty$In allen Fällen müssen wir, nachdem wir die Grenze eines Logarithmus eines Verhältnisses gefunden haben, den Antilogarithmus dieses Wertes nehmen, um seine Beziehung zum Grenzwert des gewöhnlichen Verhältnisses der Überlebensfunktion zu verstehen.