Warum gibt es in der Beta-Verteilungsdichtefunktion -1?

18

Die Betaverteilung wird unter zwei Parametern angezeigt (oder hier )

f ( x ) x α ( 1 - x ) β

f(x)xα(1x)β(1)

oder derjenige, der häufiger verwendet wird

f ( x ) x α - 1 ( 1 - x ) β - 1

f(x)xα1(1x)β1(2)

Aber warum steht in der zweiten Formel genau " "?- 11

Die erste Formulierung scheint intuitiv direkter mit der Binomialverteilung zu korrespondieren

g ( k ) p k ( 1 - p ) n - k

g(k)pk(1p)nk(3)

aber "gesehen" aus der Perspektive despp . Dies wird besonders deutlich im Beta-Binomial-Modell, bei dem als vorherige Anzahl von Erfolgen und als vorherige Anzahl von Fehlern verstanden werden kann.ααββ

Warum genau hat die zweite Form an Popularität gewonnen und was ist das Grundprinzip dahinter? Welche Konsequenzen hat die Verwendung einer der Parametrisierungen (z. B. für die Verbindung mit der Binomialverteilung)?

Es wäre großartig, wenn jemand zusätzlich die Ursprünge einer solchen Wahl und die anfänglichen Argumente dafür nennen könnte, aber das ist für mich keine Notwendigkeit.

Tim
quelle
3
In dieser Antwort wird ein tiefer Grund angedeutet : gleich Bezug auf das Maß . Das reduziert Ihre Frage auf " warum diese bestimmte Kennzahl "? Das Erkennen, dass diese Kennzahl legt den" richtigen "Weg nahe, diese Verteilungen zu verstehen ist die logistische Transformation anzuwenden: Die " " f fx α ( 1 - x ) βxα(1x)β d μ = d x / ( ( x ( 1 - x ) ) dμ=dx/((x(1x))d μ = d ( log ( x1 - x ))
dμ=d(log(x1x))
-11
-Begriffe
1
Ich denke, der eigentliche Grund dafür ist der historische - weil er in der Betafunktion, für die die Distribution benannt ist, so erscheint. Was , warum , dass hat in der Kraft, erwarte ich , dass letztlich den Grund verbunden wäre whuber erwähnt (obwohl es nichts historisch hat mit Maße oder sogar Wahrscheinlichkeit zu tun). - 11
Glen_b -Reinstate Monica
2
@ Glen_b Es ist mehr als historisch: Es gibt tiefe Gründe. Sie sind aufgrund der innigen Verbindung zwischen Beta und Gamma - Funktionen, wodurch die Frage, warum der Exponent in ist und nicht . Das liegt daran, dass eine Gauß-Summe ist . Entsprechend ist es "richtig", als ein Integral eines multiplikativen Homomorphismus ein additives Zeichen gegen das Haar-Maß für die multiplikative Gruppe . Γ ( n ) = 0 t s - 1 e - t d t s - 1 s Γ Γ t t s t e - t d t / t R xΓ(s)=0ts1etdts1sΓΓttstetdt/tR×
whuber
1
@wh Das ist ein guter Grund, warum die Gammafunktion so gewählt werden sollte (und ich habe bereits vorgeschlagen, dass ein solcher Grund oben existiert, und ich akzeptiere eine Art von Argumentation, die ähnlich ist - aber notwendigerweise mit einem anderen Formalismus -, die Euler gewählt hat). entsprechend zwingende Gründe treten bei der Dichte auf; Das bedeutet jedoch nicht, dass dies tatsächlich der Grund für die Wahl war (warum die Form so gewählt wurde, wie sie war), nur, dass dies ein guter Grund ist, dies zu tun. Die Form der Gamma-Funktion ... ctd
Glen_b - Monica
1
ctd ... alleine könnte leicht Grund genug sein, diese Form für die Dichte zu wählen und anderen zu folgen. [Oft werden Entscheidungen aus einfacheren Gründen getroffen, als wir sie später identifizieren können, und dann sind oft zwingende Gründe erforderlich, um etwas anderes zu tun. Wissen wir, dass dies der Grund war, warum es ursprünglich gewählt wurde?] - Sie erklären deutlich, dass es einen Grund gibt, warum wir die Dichte so wählen sollten , anstatt warum es so ist . Das beinhaltet eine Abfolge von Menschen, die Entscheidungen treffen (um es so zu gebrauchen und dem Beispiel zu folgen) und ihre Gründe zu der Zeit, die sie gewählt haben.
Glen_b -Reinstate Monica

Antworten:

9

Dies ist eine Geschichte über Freiheitsgrade und statistische Parameter und warum es schön ist, dass die beiden eine direkte einfache Verbindung haben.

Historisch gesehen tauchten die " " -Begriffe in Eulers Studien zur Beta-Funktion auf. Er benutzte diese Parametrisierung bis 1763 und Adrien-Marie Legendre auch: Ihre Verwendung begründete die nachfolgende mathematische Konvention. Diese Arbeit datiert alle bekannten statistischen Anwendungen vor.- 11

Die moderne mathematische Theorie liefert durch die Fülle von Anwendungen in der Analyse, der Zahlentheorie und der Geometrie zahlreiche Hinweise darauf, dass die " " -Terme tatsächlich eine Bedeutung haben. Einige dieser Gründe habe ich in den Kommentaren zur Frage skizziert.- 11

Interessanter ist, was die "richtige" statistische Parametrisierung sein sollte. Das ist nicht ganz so klar und muss auch nicht mit der mathematischen Konvention übereinstimmen. Es gibt ein riesiges Netz häufig verwendeter, bekannter, miteinander verbundener Familien von Wahrscheinlichkeitsverteilungen. Daher implizieren die Konventionen, die zum Benennen (dh Parametrisieren) einer Familie verwendet werden, normalerweise verwandte Konventionen zum Benennen verwandter Familien. Ändern Sie eine Parametrierung und Sie möchten sie alle ändern. Wir könnten diese Beziehungen daher auf Hinweise untersuchen.

Nur wenige Menschen stimmen nicht darin überein, dass die wichtigsten Verbreitungsfamilien aus der Familie Normal stammen. Es sei daran erinnert, dass eine Zufallsvariable als "normalverteilt" bezeichnet wird, wenn eine Wahrscheinlichkeitsdichte proportional zu . Bei und soll eine Standardnormalverteilung haben .X ( X - μ ) / σ f ( x ) exp ( - x 2 / 2 ) σ = 1 μ = 0 XX(Xμ)/σf(x)exp(x2/2)σ=1μ=0X

Viele Datensätze werden mit relativ einfachen Statistiken untersucht, bei denen rationale Kombinationen der Daten und niedrige Potenzen (typischerweise Quadrate) verwendet werden. Wenn diese Daten als Zufallsstichproben aus einer Normalverteilung modelliert werden - so dass jedes als Realisierung einer Normalvariablen , haben alle eine gemeinsame Verteilung und sind unabhängig -, werden die Verteilungen dieser Statistiken durch bestimmt die Normalverteilung. Die in der Praxis am häufigsten auftretenden sindx 1 , x 2 , , x n x i X i X ix1,x2,,xnxiXiXi

  1. t ν t ν = n - 1 t = ˉ Xtν , die Student- Verteilungt mit "Freiheitsgraden". Dies ist die Verteilung der Statistik wobei den Mittelwert der Daten und modelliert ist der Standardfehler des Mittelwerts. Die Division durch zeigt , dass muß oder größer ist , wo eine ganze Zahl istν=n1se ( X ) ˉ X =(X1+X2++Xn)/nse(X)=(1/

    t=X¯se(X)
    X¯=(X1+X2++Xn)/nn )( X 2 1 + X 2 2 + + X 2 n ) / ( n - 1 ) - ˉ X 2 n-1n2ν1se(X)=(1/n)(X21+X22++X2n)/(n1)X¯2n1n2ν1oder größer. Die scheinbar etwas komplizierte Formel ist die Quadratwurzel einer rationalen Funktion der Daten zweiten Grades: Sie ist relativ einfach.
  2. χ 2 ν χ 2 ν ν χ 2 1 / ν χ 2χ2ν , die (Chi-Quadrat) -Verteilungχ2 mit "Freiheitsgraden" (df). Dies ist die Verteilung der Quadratsumme von unabhängigen Standard-Normalvariablen. Die Verteilung des Mittelwerts der Quadrate dieser Variablen wird daher eine Verteilung sein, die mit skaliert ist : Ich werde dies als eine "normalisierte" Verteilung bezeichnen.ννχ21/νχ2

  3. F ν 1 , ν 2 F ( ν 1 , ν 2 ) χ 2 ν 1 ν 2Fν1,ν2 , die Verhältnisverteilung mit ParameternF(ν1,ν2) ist das Verhältnis zweier unabhängiger normalisierter Verteilungen mit Freiheitsgraden und .χ2ν1ν2

Mathematische Berechnungen zeigen, dass alle drei Verteilungen Dichten haben. Wichtig ist, dass die Dichte der Verteilung proportional zum Integranden in Eulers integraler Definition der Gamma ( ) -Funktion ist. Vergleichen wir sie:χ 2 ν Γχ2νΓ

f 2 ν ( 2 x ) x ν / 2 - 1 e - x ;f Γ ( ν ) ( x ) x ν - 1 e - x .

fχ2ν(2x)xν/21ex;fΓ(ν)(x)xν1ex.

Dies zeigt, dass zweimal eine Variable eine Gamma-Verteilung mit dem Parameter . Der Faktor der Hälfte ist lästig genug, aber subtrahieren würde die Beziehung viel schlimmer machen. Dies liefert bereits eine überzeugende Antwort auf die Frage: Wenn der Parameter einer Verteilung die Anzahl der quadrierten Normalvariablen zählen soll, die sie erzeugen (bis zu einem Faktor von ), dann der Exponent in seiner Dichte Funktion muss eine weniger als die Hälfte dieser Anzahl sein. χ 2 & ngr; & ngr; / 2 1 χ 2 1 / 2χ2νν/21χ21/2

Warum ist der Faktor weniger störend als eine Differenz von ? Der Grund ist, dass der Faktor konsistent bleibt, wenn wir Dinge addieren. Wenn die Summe der Quadrate von unabhängigen Standardnormalen proportional zu einer Gammaverteilung mit dem Parameter (mal einem Faktor) ist, dann ist die Summe der Quadrate von unabhängigen Standardnormalen proportional zu einer Gammaverteilung mit dem Parameter (mal dem gleichen Faktor). Daher ist die Summe der Quadrate aller Variablen proportional zu einer Gamma-Verteilung mit dem Parameter (immer noch der gleiche Faktor). 1 / 2 1 n n m m n + m m + n1/21nnmmn+mm+nDie Tatsache, dass das Hinzufügen der Parameter das Hinzufügen der Zählungen so genau nachahmt, ist sehr hilfreich.

Wenn wir jedoch dieses nervige " " aus den mathematischen Formeln entfernen würden, würden diese netten Beziehungen komplizierter. Wenn wir beispielsweise die Parametrisierung der Gamma-Verteilungen so ändern, dass sie sich auf die tatsächliche Potenz von in der Formel bezieht , wird eine Verteilung mit einer "Gamma " -Verteilung in Beziehung gesetzt (seit der Potenz von in) sein PDF ist ), dann müsste die Summe von drei Verteilungen als "Gamma " -Verteilung bezeichnet werden. Kurz gesagt, die enge additive Beziehung zwischen Freiheitsgraden und dem Parameter in Gammaverteilungen würde durch Entfernen von verloren gehen- 1 x 2 1 ( 0 ) x 1 - 1 = 0 2 1 ( 2 ) - 11xχ21(0)x11=0χ21(2)1 aus der Formel und absorbiert es in den Parameter.

In ähnlicher Weise ist die Wahrscheinlichkeitsfunktion einer Verhältnis-Verteilung eng mit Beta-Verteilungen verwandt. In der Tat hat, wenn eine Verhältnisverteilung hat, die Verteilung von eine Beta- Verteilung . Seine Dichtefunktion ist proportional zuF Y F Z = ν 1 Y / ( ν 1 Y + ν 2 ) ( ν 1 / 2 , ν 2 / 2 )FYFZ=ν1Y/(ν1Y+ν2)(ν1/2,ν2/2)

f Z ( z ) α z ν 1 / 2 - 1 ( 1 - z ) ν 2 / 2 - 1 .

fZ(z)zν1/21(1z)ν2/21.

Außerdem hat das Quadrat einer Student- Verteilung mit df eine Verhältnisverteilung mit Parametern . Einmal mehr zeigt sich, dass die Beibehaltung der konventionellen Parametrisierung eine klare Beziehung zu den zugrunde liegenden Zählwerten aufrechterhält , die zu den Freiheitsgraden beitragen.t ν F ( 1 , ν )tνF(1,ν)

Aus statistischer Sicht wäre es daher am natürlichsten und einfachsten, eine Variation der herkömmlichen mathematischen Parametrisierungen von und Beta - Verteilungen zu verwenden: Wir sollten es vorziehen, eine Verteilung als -Verteilung "und die Beta -Verteilung sollten als" Beta -Verteilung "bezeichnet werden. Tatsächlich haben wir das bereits getan: Genau deshalb verwenden wir weiterhin die Bezeichnungen "Chi-Quadrat" und " Verhältnis" anstelle von "Gamma" und "Beta". Unabhängig davon möchten wir auf keinen Fall das " " entfernenΓ Γ ( α ) Γ ( 2 α ) ( α , β ) ( 2 α , 2 β ) F - 1ΓΓ(α)Γ(2α)(α,β)(2α,2β)F1"Ausdrücke, die in den mathematischen Formeln für ihre Dichten erscheinen. Wenn wir das tun, würden wir die direkte Verbindung zwischen den Parametern in den Dichten und den Datenzahlen, mit denen sie verknüpft sind , verlieren : Wir wären immer um eins versetzt.

whuber
quelle
1
Vielen Dank für Ihre Antwort (ich + 1d bereits). Ich habe nur eine kleine Folgefrage: Vielleicht fehlt mir etwas, aber opfern wir nicht die direkte Beziehung zum Binomial mithilfe der -1-Parametrisierung?
Tim
Ich bin mir nicht sicher, auf welche "direkte Beziehung zum Binom" Sie sich beziehen, Tim. Wenn zum Beispiel die Beta -Verteilung als Konjugat vor einer Binomial-Stichprobe verwendet wird, sind die Parameter eindeutig genau die richtigen: Sie addieren (nicht ) zur Anzahl der Erfolge und (nicht ) auf die Anzahl der Ausfälle. (a,b)(a,b)aaa1a1bbb1b1
Whuber
1

Die Notation führt Sie in die Irre. Es gibt ein „versteckten “ in der Formel , weil in , und größer sein muss als (der zweite Link , den Sie in Ihrer Frage zur Verfügung gestellt , sagt dies ausdrücklich). Die 's und ' s in den beiden Formeln sind nicht die gleichen Parameter. Sie haben unterschiedliche Bereiche: in , und in , . Diese Bereiche für und11(1)(1)(1)(1)ααββ11ααββ(1)(1)α,β>1α,β>1(2)(2)α,β>0α,β>0ααββsind notwendig, um sicherzustellen, dass das Integral der Dichte nicht divergiert. Um dies zu sehen, betrachtet in den Fall (oder weniger) und , dann versuchen zu integrieren , die (Kern der) Dichte zwischen und . Versuchen Sie das Gleiche in für (oder weniger) und .(1)(1)α=1α=1β=0β=00011(2)(2)α=0α=0β=1β=1

Zen
quelle
2
Die Frage nach einem Definitionsbereich für α und β scheint sich zu lösen, wenn das Integral wie Pochhammer 1890 als spezifisches Konturenintegral interpretiert wird. In diesem Fall kann es einem Ausdruck gleichgesetzt werden, der eine analytische Funktion für alle Werte von α und β einschließlich aller komplexen Werte bestimmt . Dies wirft ein Licht auf die Frage, warum genau diese spezifische Parametrisierung übernommen wurde, da es viele andere mögliche Parametrisierungen gibt, die den Anschein erwecken, als könnten sie gleich gut funktionieren. αβαβ
Whuber
1
Für mich scheint der Zweifel des OP viel grundlegender zu sein. Er ist verwirrt über das "-1" in (2), aber nicht in (1) (natürlich nicht wahr). Ihr Kommentar scheint eine andere Frage zu beantworten (übrigens viel interessanter).
Zen
2
Vielen Dank für Ihre Mühe und Antwort, aber es beantwortet immer noch nicht mein Hauptanliegen: Warum wurde -1 gewählt? Nach Ihrer Logik kann grundsätzlich jeder Wert gewählt werden, der die willkürliche Untergrenze auf etwas anderes ändert. Ich kann nicht verstehen, warum -1 oder 0 eine bessere oder schlechtere Untergrenze für Parameterwerte sein können, abgesehen von der Tatsache, dass 0 "ästhetisch" eine schönere Grenze ist. Andererseits wäre Beta (0, 0) ein guter "Standard" für die gleichmäßige Verteilung, wenn das erste Formular verwendet wird. Ja, das sind sehr subjektive Kommentare, aber das ist mein Hauptpunkt: Gibt es nicht willkürliche Gründe für eine solche Wahl?
Tim
1
Zen, ich stimme zu, es gab eine Frage, wie man den ursprünglichen Beitrag interpretiert. Vielen Dank, Tim, für deine Klarstellungen.
Whuber
1
Hallo Tim! Ich sehe keinen endgültigen Grund, obwohl es den Zusammenhang mit der Tatsache, dass für α , β > 0 , wenn U G a m m a ( α , 1 ) und V G a m m a ( β ) direkter macht , 1 ) unabhängig sind, dann X = U / ( U + V ) ist B e t ein ( α , βα,β>0UGamma(α,1)VGamma(β,1)X=U/(U+V)) und die Dichte von X ist proportional zu x α - 1 ( 1 - x ) β - 1 . Aber dann können Sie die Parametrisierung der Gamma-Verteilung in Frage stellen ...Beta(α,β)Xxα1(1x)β1
Zen
0

Für mich hängt die Existenz von -1 im Exponenten mit der Entwicklung der Gamma-Funktion zusammen. Die Motivation der Gamma-Funktion besteht darin, eine glatte Kurve zu finden, um die Punkte eines Fakultäts x zu verbinden ! . Da es nicht möglich ist x zu berechnen ! direkt, wenn x nicht ganzzahlig ist, bestand die Idee darin, eine Funktion für jedes x 0 zu finden , die die durch die Fakultät definierte Wiederholungsrelation erfüllt, nämlich

f ( 1 ) = 1f ( x + 1 ) = x f ( x ) .

Die Lösung bestand in der Konvergenz eines Integrals. Für die Funktion definiert als

f ( x + 1 ) = 0 t x e - x d t ,

Die Teilintegration bietet Folgendes:

f ( x + 1 )= 0 t x e - x d t= [ - t x e - x ] 0 + 0 x t x - 1 e - x d t= Lim x ( - t x e - x ) - 0 e - 0 + x 0 t x - 1 e - x d t= 0 - 0 + x 0 t x - 1 e - x d t= x f ( x ) .

Die obige Funktion erfüllt diese Eigenschaft, und das -1 im Exponenten ergibt sich aus der Prozedur der Integration nach Teilen. Siehe den Wikipedia-Artikel https://en.wikipedia.org/wiki/Gamma_function .

Edit: Ich entschuldige mich, wenn mein Beitrag nicht vollständig klar ist; Ich versuche nur darauf hinzuweisen, dass in meiner Idee die Existenz von -1 in der Beta-Verteilung durch die Verallgemeinerung der Fakultät mittels der Gamma-Funktion zustande kommt. Es gibt zwei Bedingungen: f ( 1 ) = 1 und f ( x + 1 ) = x f ( x ) . Wir haben Γ ( x ) = ( x - 1 ) ! daher erfüllt es Γ ( x + 1 ) =x Γ ( x ) = x ( x - 1 ) ! = x ! . Zusätzlich haben wir Γ ( 1 ) = ( 1 - 1 ) ! = 0 ! = 1 . Wie für die BetaVerteilung mit Parameter α , β , Verallgemeinerung des Binomialkoeffizient ist Γ ( α + β )Γ ( α ) Γ ( β ) =(α+β-1)!( α - 1 ) ! ( β - 1 ) ! . Dort haben wir für beide Parameter den Nenner -1.

aatr
quelle
Dies macht keinen Sinn, da die von der Fakultät erfüllte Wiederholungsfunktion nicht Ihrer Aussage entspricht: ( x + 1 ) ! x x ! .
whuber
Die Funktion f ( x ) die Rekursion erfüllt , ist die Gamma: Γ ( x + 1 ) = x Γ ( x ) . So wird es definiert.
24.
Ja, aber Ihre angegebene Motivation basiert auf der Fakultätsfunktion , nicht auf dem Gamma.
whuber
Es ist wichtig, an die Beziehung zwischen Gamma und Fakultät zu erinnern: Γ ( x ) = ( x - 1 ) ! .
25.
Leider ist das eine zirkuläre Logik: Sie beginnen mit der Fakultät, charakterisieren Gamma als Interpolation und schließen daraus, dass es eine -1 gibt. In der Tat zeigt Ihr Beitrag das -1, als ob es versehentlich herausgefallen wäre, indem Sie Gamma mit der Fakultät verwechseln. Nur wenige werden das entweder aufschlussreich oder überzeugend finden.
whuber