Die Überprüfung eines Seitenzahns ist richtig

7

In einem Lehrbuch gibt es ein Hausaufgabenproblem, bei dem die Richtigkeit einer bestimmten posterioren Verteilung überprüft werden soll, und ich habe ein kleines Problem damit. Das Setup besteht darin, dass Sie ein logistisches Regressionsmodell mit einem Prädiktor haben und eine falsche Uniform vor .R2

Insbesondere nehmen wir für dass also Die Wahrscheinlichkeit ist Das Problem ist, dass ich vermute, dass dieser hintere tatsächlich unpassend ist.i=1,,k

yiα,β,xiBinomial(n,invlogit(α+βxi)),
p(yα,β,x)=i=1k[invlogit(α+βxi)]yi[1invlogit(α+βxi)]nyi.

Für die spezifische Situation mit können wir sehen, dass , wenn wir die Änderung der Variablen und In der Zeile mit dem Sternchen nehmen wir an, dass 0 <y <n ist. Wenn dies nicht der Fall ist, erhalten wir dasselbe.k=1s1=invlogit(α+βx)s2=β

R2p(yα,β,x)dαdβ=R2[invlogit(α+βx)]y[1invlogit(α+βx)]nydαdβ=01s1y1(1s1)ny1ds1ds2(*)=B(y,ny)1ds2=.
0<y<n

Mache ich hier etwas Dummes? Oder ist das ein unpassender posterior?

Taylor
quelle
2
Auf einen Blick - ohne Rücksicht auf die Details - finde ich es außerordentlich seltsam, dass (a) Sie sowohl positive als auch negative Werte von β und (b) ein Faktor von 1/β nicht erscheint, wenn Sie Variablen ändern. Vielleicht löst ein wenig Aufmerksamkeit für die Mechanik der Integration Ihr Problem.
whuber
Ich habe keine Mathematik durchgeführt, um dies zu belegen, aber sowohl meine Intuition als auch mein Gedächtnis sagen, dass Sie Recht haben und dass der hintere Teil nicht richtig sein muss. Wenn Sie korrigieren, ist analog dazu ein flacher Prior auf der Haldane-Prior, was nicht immer zu richtigen Posterioren führt. β=0α
Kerl
2
Für können Sie direkt aus Ihrer Gleichung die Wahrscheinlichkeit erkennen, dass die hintere Dichte entlang von Parameterkombinationen konstant ist, für die konstante Werte annimmt. Der hintere Teil ist also in der Tat unpassend und hat die Form eines Kamms für . Grundsätzlich passt jede Regressionslinie, die der beobachteten Antwort bei , zu den Daten. Aber für wäre ich überrascht, wenn der Posterior nicht richtig wäre, außer in entarteten Fällen wie oder Fällen linearer Trennung. k=1p(α,β|y1,x1)α+βxik=1x1k>1x1=x2
Jarle Tufto
1
@ Xi'an das ist, woher die s kamen1
Taylor
3
Die Erklärung von @JarleTufto ist völlig zutreffend: Die Verteilung von hängt nur von und kann daher keine Informationen über und liefern . Daher ein unpassender posterior. Es gibt auch ein Problem für weitere Beobachtungen, wenn alle gleich oder alle gleich . Yα+βxα βyi0n
Xi'an

Antworten:

3

Für können Sie direkt aus Ihrer Gleichung die Wahrscheinlichkeit dass die hintere Dichte entlang der Parallellinien konstant ist, bei denen konstante Werte annimmt. Der hintere Teil ist also in der Tat unpassend und hat die Form eines Kamms für . Grundsätzlich ist jede Regressionslinie, die der beobachteten Antwort bei , gleich gut.𝑘=1𝑝(𝛼,𝛽|𝑦1,𝑥1)𝛼+𝛽𝑥𝑖𝑘=1𝑥1

Nehmen wir als nächstes an, wir haben Beobachtungen. Betrachten Sie die Neuparametrisierung durch Da dies eine lineare Transformation von mit ist Eine konstante Determinante des Prior für ist auch über einheitlich , vorausgesetzt, . Betrachten Sie die weitere Neuparametrisierung, die inverse Logit-Transformation für . Es ist klar, dass auch a priori unabhängig von den durch angegebenen Dichten sind k=2

η1=α+βx1η2=α+βx2
α,βη1,η2R2x1x2
pi=11+eηi,
i=1,2p1,p2
π(pi)=π(ηi)|dηidpi|ddpilnpi1pi=1(1pi)pi
Dies sind sogenannte unpassende Haldane-Priors , die als eine bestimmte Form der Begrenzung der Dichte einer Beta-Verteilung interpretiert werden können, wobei beide Parameter gegen Null gehen. Bedingt durch die Daten , vorausgesetzt, dass , ist die hintere Randdichte für jedes die richtige Beta-Verteilung mit den Parametern . Bei der Rücktransformation müssen auch die posterioren Verteilungen von und korrekt sein. Dies gilt außer in besonderen Fällen wie einemy1,y20<yi<npiyi,nyi(η1,η2)(α,β)yiNehmen Sie einen Wert von 0 oder In diesem Fall ist die normalisierende Beta-Funktion unendlich und der hintere Teil von (und damit der hintere Teil von und ) unpassend.nB(yi,nyi)piαβ

Für Beobachtungen muss auch der Posterior geeignet sein, da die nicht normalisierte posteriore Dichte von basierend auf den ersten Beobachtungen durch den Posterior begrenzt wird .k>2α,βk=2

Jarle Tufto
quelle
Ich bin mir nicht sicher, ob unsere beiden Antworten mathematisch nicht übereinstimmen. Ich sage, das Integral ist unendlich, wenn jedes , und Sie sagen, das Integral ist endlich, wenn alle streng zwischen den Endpunkten liegen. Dies mag auch davon abhängen, wen Sie fragen, aber ich hatte den Eindruck, dass ein Posterior, der nicht für alle möglichen Datenpunkte geeignet ist, als "unangemessen" definiert wird. Haldanes Prior ist ein Beispiel dafür, wo dies geschieht. yi=nyi
Taylor
Aber Ihre Ungleichungen besagen, dass das Integral des nicht normalisierten Seitenzahns (für jedes ) (die linke Seite der ersten Ungleichung) unendlich ist, so dass es eine Meinungsverschiedenheit gibt. Ich bin mir nicht sicher, aber der letzte Schritt, bei dem die beiden Integrale kombiniert werden, scheint nicht nur das zu beinhalten, was Sie als und definiert haben, sondern auch usw. also vielleicht das ist, wo der Fehler ist. yis1s2invlogit(α+βx(n))
Jarle Tufto
1
ja, du hast Recht. Die Integranden sind an diesen beiden Stellen unterschiedlich, sodass Sie sie nicht kombinieren können.
Taylor
Leider wird davon ausgegangen, dass was der häufigste Fall ist. n>1
Taylor
2

Es ist unangemessen, glaube ich. Ich muss nur beweisen, dass Funktion bezeichnen Nun, da eine monoton ansteigende Funktion ist, haben wir bei

αRβ>0p(yα,β,x)=+.
σ=invlogit
σβ>0
σ(α+βxi)>σ(αβmax|xi|)>0,
1σ(α+βxi)>1σ(α+βmax|xi|)>0.

Somit ist das Integral

αRβ>0p(yα,β,x)>αRβ>0[σ(αβmax|xi|)]yi[1σ(α+βmax|xi|)]niyi>αRβ>0[σ(αβmax|xi|)]maxni[1σ(α+βmax|xi|)]maxni>αRβ>0[σ(αβmax|xi|)]kmaxni[1σ(α+βmax|xi|)]kmaxni

Weitere Eigenschaften zu werden benötigt: σ

(σ(x))N=1(1+ex)N>12N(max{1,ex})N=12N(max{1,eNx})>12Nσ(Nx)

Sei, , dann ξ=αβmax|xi|η=α+βmax|xi|,N=kmaxni

αRβ>0p(yα,β,x)>αRβ>0[σ(αβmax|xi|)]N[1σ(α+βmax|xi|)]N<ξ<η<+[σ(ξ)]N[σ(η)]N>122Nξ+(+σ(Nξ)dξ) σ(Nη)dη=+

Dummes Lied
quelle
1
Ich habe eine Ausgabe gemacht. Hoffe es ist richtig.
Dumme Lied
1
Im vorletzten Schritt denke ich, dass die Grenzen des Doppelintegrals falsch sind. Ich bekomme stattdessen Mit Maple finde ich, dass dieses Doppelintegral endlich ist und gleich . Alles, was Sie basierend auf Ihrer Ableitung sagen können, ist, dass die Normalisierungskonstante des posterioren von größer ist als etwas Endliches.
σ(Nη)ησ(Nξ)dξdη
π/(6N2)α,β
Jarle Tufto
1

Ich habe bereits eine Antwort akzeptiert, wollte aber darauf hinweisen, dass der Posterior nicht für alle möglichen Datensätze geeignet ist. Der hintere Teil ist proportional zur Wahrscheinlichkeit, die Wenn , dann vereinfacht sich dies zu

i=1k[invlogit(α+βxi)]yi[1invlogit(α+βxi)]nyi.
y1=y2==yk=n
i=1k[invlogit(α+βxi)]n,

und wir können sehen, dass

i=1k[invlogit(α+βxi)]ndαdβ0i=1k[invlogit(α+βxi)]ndαdβ0[invlogit(α+βx(1))]nkdαdβ0[invlogit(r1)]nkdr1dr2=.

Taylor
quelle