Wie wirkt sich der Beta-Prior unter binomialer Wahrscheinlichkeit auf den posterioren Bereich aus?

8

Ich habe zwei Fragen,

Frage 1: Wie kann ich zeigen, dass die hintere Verteilung eine Beta-Verteilung ist, wenn die Wahrscheinlichkeit binomial und die vorherige eine Beta ist?

Frage 2: Wie wirkt sich die Auswahl der vorherigen Parameter auf den posterioren Bereich aus? Sollten sie nicht alle gleich sein?

Ist es möglich, diese Fragen in R zu beantworten?

George Kramer
quelle
Sie können firstbayes leicht verwenden, um Vergleiche anzustellen, ohne Codes wie in R schreiben zu müssen. Holen Sie sich firstbayes. Dies könnte helfen, da die Installation schwierig sein könnte. Youtube.com/watch?v=BcdigiWY054

Antworten:

18

Um Ihre erste Frage zu beantworten, müssen wir nur den Bayes-Satz verwenden, um unsere Binomialwahrscheinlichkeit mit der vorherigen Beta zu aktualisieren. Um dies besser zu verstehen, beobachten Sie zunächst das folgende Ergebnis: wobei wir das Proportionalitätsergebnis verwenden können, da die Beta-Verteilung das Konjugat vor der Binomialwahrscheinlichkeit ist.

p(θ|x)=p(x|θ)p(θ)Θp(x|θ)p(θ)dθp(x|θ)p(θ)

Nun sei und θ Beta ( α , β ) . Wir können nun den Bayes-Satz verwenden, um den Seitenzahn wie folgt zu berechnen:xichBinomial(N.ich,θ)θBeta(α,β)

s= n i = 1 xiN= n i = 1 Ni

p(θ|x)p(x|θ)p(θ)(N.xich)θs(1- -θ)N.- -sΓ(α+β)Γ(α)Γ(β)θα- -1(1- -θ)β- -1θs(1- -θ)N.- -sθα- -1(1- -θ)β- -1θα+s- -1(1- -θ)β+N.- -s- -1
wobei unds=ich=1nxichN.=ich=1nN.ich

Jetzt erkennen wir die proportionale rechte Seite der Gleichung als den Kern einer anderen Beta-Verteilung mit aktualisierten Parametern und

α=α+ich=1nxich
β=β+ich=1nN.ich- -ich=1nxich

Betrachten Sie nun für den zweiten Teil Ihres Problems die folgenden Diagramme der Posterioren mit unterschiedlichen vorherigen Verteilungen.

BetaPriors

Das obige Diagramm besteht aus fünf verschiedenen früheren Verteilungen:

Prior 1::θBeta(.5,.5)Prior 1::θBeta(5,1)Prior 1::θBeta(1,3)Prior 1::θBeta(2,2)Prior 1::θBeta(2,5)
Geben Sie hier die Bildbeschreibung ein Geben Sie hier die Bildbeschreibung ein Geben Sie hier die Bildbeschreibung ein Geben Sie hier die Bildbeschreibung ein Geben Sie hier die Bildbeschreibung ein

Obwohl die posteriore Verteilung durch die Wahl des Prior in dieser Situation nicht wesentlich verändert zu sein scheint, ist dies nicht immer der Fall. Hätten wir beispielsweise eine Stichprobe aus einer Binomialverteilung (im Code) mit , würden wir sehen, dass sich die hintere Verteilung durch die Wahl der vorherigen Verteilung drastisch ändert.N.=2

Hier ist der RCode, mit dem alles generiert wird:

colors = c("red","blue","green","orange","purple")

n = 10
N = 10
theta = .2

x = rbinom(n,N,theta)
grid = seq(0,2,.01)


alpha = c(.5,5,1,2,2)
beta = c(.5,1,3,2,5)

plot(grid,grid,type="n",xlim=c(0,1),ylim=c(0,4),xlab="",ylab="Prior Density",
     main="Prior Distributions", las=1)
for(i in 1:length(alpha)){
    prior = dbeta(grid,alpha[i],beta[i])
    lines(grid,prior,col=colors[i],lwd=2)
}

legend("topleft", legend=c("Beta(0.5,0.5)", "Beta(5,1)", "Beta(1,3)", "Beta(2,2)", "Beta(2,5)"),
       lwd=rep(2,5), col=colors, bty="n", ncol=3)

for(i in 1:length(alpha)){
    dev.new()
    plot(grid,grid,,type="n",xlim=c(0,1),ylim=c(0,10),xlab="",ylab="Density",xaxs="i",yaxs="i",
    main="Prior and Posterior Distribution")

    alpha.star = alpha[i] + sum(x)
    beta.star = beta[i] + n*N - sum(x)
    prior = dbeta(grid,alpha[i],beta[i])
    post = dbeta(grid,alpha.star,beta.star)

    lines(grid,post,lwd=2)
    lines(grid,prior,col=colors[i],lwd=2)
    legend("topright",c("Prior","Posterior"),col=c(colors[i],"black"),lwd=2)

}
COOLSerdash
quelle
(+1) Großartige Antwort @ user25658.
MYaseen208
Dies ist eine großartige Antwort und in Ordnung. Sie enthält auch ein Wahrscheinlichkeitsdiagramm (Daten).
MYaseen208
1
@ user25658 Wenn der Posterior eine Beta-Distribution ist, sollten wir nicht verwenden, rbetaanstatt rbinomx zu generieren, da Theta ein Beta-Distrikt ist?
Kamaldeep Singh