Hat die Beta-Distribution ein Konjugat vor?

34

Ich weiß, dass die Beta-Verteilung mit dem Binomial konjugiert ist. Aber was ist das Konjugat vor der Beta? Vielen Dank.

beta-distribution conjugate-prior Dreistes Gleichgewicht
quelle

25

Es scheint, dass Sie die Konjugation bereits aufgegeben haben. Nur zur Veranschaulichung, eine Sache, die ich gesehen habe (aber ich weiß nicht genau, wo, sorry), ist eine Umparametrierung wie diese. Wenn $X_1,\dots,X_n$ sind bedingt iid, da $\alpha,\beta$ , so dass $X_i\mid\alpha,\beta\sim\mathrm{Beta}(\alpha,\beta)$ , denken Sie daran , dass

E [X_{ich} ∣ α, β] = \frac{α}{α + β} =: μ

$\mathbb{E}[X_i\mid\alpha,\beta]=\frac{\alpha}{\alpha+\beta} =: \mu$ und

V ein r [X_{ich} ∣ α, β] = \frac{α β}{(α + β)^{2} (α + β + 1)} =: σ^{2} .

$\mathbb{Var}[X_i\mid\alpha,\beta] = \frac{\alpha\beta}{(\alpha+\beta)^2(\alpha+\beta+1)} =: \sigma^2 \, .$ Daher können Sieumparametrierendie Wahrscheinlichkeit in Bezug auf

μ

$\mu$ und

σ^{2}

$\sigma^2$ undVerwendung als vor

σ^{2} ∣ μ \sim U [0, μ (1 - μ)] μ \sim U [0, 1] .

$\sigma^2\mid\mu \sim \mathrm{U}[0,\mu(1-\mu)] \qquad \qquad \mu\sim\mathrm{U}[0,1] \, .$ Jetzt können Sie den Posterior berechnen und ihn mit Ihrer bevorzugten Berechnungsmethode untersuchen.

Zen
quelle

4

Nein, nicht MCMC dieses Ding! Quadratur dieses Ding! nur 2 Parameter - Quadratur ist der "Goldstandard" für klein dimensionale Posterioren, sowohl in Bezug auf Zeit als auch Genauigkeit.

Wahrscheinlichkeitsrechnung

3

Eine andere Möglichkeit besteht darin,

als Maß für die Genauigkeit zu betrachten und erneut

ψ = α + β

$\psi = \alpha + \beta$

als Mittelwert. Dies geschieht ständig mit Dirichlet-Prozessen, und die Betaverteilung ist ein Sonderfall. Also werfen Sie vielleicht ein Gamma oder Log-Normal vor

und Uniform auf

.

μ = \frac{α}{α + β}

$\mu = \frac{\alpha}{\alpha + \beta}$

ψ

$\psi$

μ

$\mu$

Kerl

2

Sicher ist das nicht konjugiert, richtig?

Kerl

3

Definitiv nicht!

Zen

Hi @ Zen, ich beschäftige mich gerade mit diesem Problem, aber ich bin neu bei Bayesian und bin mir nicht sicher, ob ich die Idee verstehe. Ich habe herausgefunden, dass Sie vorschlagen,

zu finden

und dann verwenden Sie Reparametrisierung, aber das war natürlich nicht die Idee. Können Sie mir bitte helfen, zu verstehen?

\int_{0}^{1} \frac{1}{μ (1 - μ} d μ

$\int_{0}^{1}{\frac{1}{\mu(1-\mu}}d\mu$

Red Noise

23

Ja, es hat ein Konjugat in der exponentiellen Familie. Betrachten wir die drei Parameter Familie Für einige Werte vondies integrierbar, obwohl ich nicht genau herausgefunden habe, welche (ich glaube,undsollten funktionieren -entspricht also unabhängigen Exponentialverteilungen Das funktioniert auf jeden Fall, und das konjugierte Update umfasst das Inkrementieren

π (α, β ∣ ein, b, p) \propto {\frac{Γ (α + β)}{Γ (α) Γ (β)}}^{p} \exp (ein α + b β) .

$\pi(\alpha, \beta \mid a, b, p) \propto \left\{\frac{\Gamma(\alpha + \beta)}{\Gamma(\alpha)\Gamma(\beta)}\right\}^p \exp\left(a\alpha + b\beta \right).$

(a, b, p)

$(a, b, p)$

p \geq 0

$p \ge 0$

a < 0, b < 0

$a < 0, b < 0$

p = 0

$p = 0$

also dies deutet darauf hin, dass

funktioniert).

p

$p$

p > 0

$p > 0$

Das Problem, und zumindest ein Teil des Grundes niemand verwendet es, ist , dass dh die normalisierende Konstante hat keine verdeckte Form.

\int_{0}^{\infty} \int_{0}^{\infty} {\frac{Γ (α + β)}{Γ (α) Γ (β)}}^{p} \exp (ein α + b β) = ?

$\int_0^\infty \int_0^\infty \left\{\frac{\Gamma(\alpha + \beta)}{\Gamma(\alpha)\Gamma(\beta)}\right\}^p \exp\left(a\alpha + b\beta \right) = ?$

Kerl
quelle

Ah. Das ist problematisch. Ich wollte sowieso nach einer nicht informativen Version des Konjugats suchen, also könnte ich genauso gut mit einheitlichen Prioritäten für die beiden Parameter beginnen. Vielen Dank.

Dreistes Gleichgewicht

Sie müssen es nicht normalisieren, wenn Sie nur die Wahrscheinlichkeiten vergleichen ...

Neil G

Ich denke , man könnte die Wirkung fehlt

in Ihren

als auch Ausdruck. Es sollte wahrscheinlich

, etc. sein

p

$p$

\exp

$\exp$

p a α

$pa\alpha$

Neil G

@NeilG

ist in der

, Sie müssen nur die Dinge in

anstelle von

ausdrücken . Doing

ist nur ein reparmetrization, es ändert sich nichts. Nicht sicher, was du meinst "nur Wahrscheinlichkeiten vergleichen". Sie können einen Gibbs-Sampler mit diesem Prior nicht implementieren, ohne etwas wie Metropolis zu verwenden, das den Vorteil der bedingten Konjugation zunichte macht. Die Normalisierungskonstante hängt von

und

die das Setzen eines Prioritäts auf sie oder das Schätzen nach Wahrscheinlichkeitsmethoden usw. beenden. .

p

$p$

\exp

$\exp$

\log Γ (\dots)

$\log \Gamma(\cdots)$

Γ (\dots)

$\Gamma(\cdots)$

p a α

$pa\alpha$

a

$a$

b

$b$

guy

2

Das @NeilG-Integral liegt über

und

da dies die Zufallsvariablen sind.

α

$\alpha$

β

$\beta$

Kerl

9

In der Theorie sollte es ein Konjugat vor der Beta - Verteilung sein. Das ist weil

die Beta - Verteilung ist eine der Exponentialfamilie Verteilungen und
Theoretisch sollte es möglich sein, einen Prior abzuleiten. Siehe zB Wikipedia , D Blei's Vortrag über Exponentialfamilien .

Die Herleitung sieht jedoch schwierig aus und es ist schwierig, A Bouchard-Cotes Exponentialfamilien und Conjugate Priors zu zitieren

Eine wichtige Feststellung ist, dass dieses Rezept nicht immer ein Konjugat ergibt, das rechnerisch nachvollziehbar ist.

Dementsprechend gibt es für die Betaverteilung in D Finks A Compendium of Conjugate Priors keine Prioritäten .

TooTone
quelle

3

Die Herleitung ist nicht schwierig - Siehe meine Antwort: mathoverflow.net/questions/63496/…

Neil G

3

Ich glaube nicht, dass es eine "Standard" -Verteilung (dh eine exponentielle Familienverteilung) gibt, die das Konjugat vor der Beta-Verteilung ist. Wenn es eine gibt, muss es sich jedoch um eine bivariate Verteilung handeln.

quelle

Ich habe keine Ahnung von dieser Frage, aber ich habe diese praktische konjugierte vorherige Karte gefunden, die Ihre Antwort zu unterstützen scheint: johndcook.com/conjugate_prior_diagram.html

Justin Bozonier

Der konjugierte Prior gehört zur Exponentialfamilie und hat drei Parameter - nicht zwei.

Neil G

1

@Neil, du hast definitiv recht. Ich hätte sagen sollen, dass es mindestens zwei Parameter haben muss.

-1: Diese Antwort ist eindeutig falsch in der Behauptung, dass "Conjugate Prior nicht in der Exponentialfamilie existiert", wie in der obigen Antwort gezeigt wird ...

Jan Kukacka

3

Robert und Casella (RC) beschreiben zufällig die Familie der konjugierten Priors der Beta-Verteilung in Beispiel 3.6 (S. 71 - 75) ihres Buches „ Introducing Monte Carlo Methods“ in R , Springer, 2010. Sie zitieren jedoch das Ergebnis, ohne es zu zitieren eine Quelle.

$B(\alpha, \beta)$

π (α, β) \propto {\frac{Γ (α + β)}{Γ (α) Γ (β)}}^{λ} x_{0}^{α} y_{0}^{β}

$\pi(\alpha,\beta) \propto \Big\{ \frac{\Gamma(\alpha+\beta)} {\Gamma(\alpha)\Gamma(\beta)} \Big\} ^{\lambda} x_0^{\alpha} y_0^{\beta}$

wobei Hyperparameter sind, da der hintere dann gleich ist $\{\lambda, x_0, y_0\}$

π (α, β | x) \propto {\frac{Γ (α + β)}{Γ (α) Γ (β)}}^{λ} (x x_{0})^{α} ((1 - x) y_{0})^{β} . "

$\pi(\alpha,\beta \vert x) \propto \Big\{ \frac{\Gamma(\alpha+\beta)} {\Gamma(\alpha)\Gamma(\beta)} \Big\} ^{\lambda} (xx_0)^{\alpha} ((1-x)y_0)^{\beta}."$

Der Rest des Beispiels betrifft die Wichtigkeitsabtastung aus , um die marginale Wahrscheinlichkeit von zu berechnen . $\pi(\alpha,\beta \vert x)$ $x$

user37239
quelle

2

π (α, β) \propto {(\frac{Γ (α + β)}{Γ (α) Γ (β)})}^{λ + 1} (x x_{0})^{α - 1} {(y_{0} (1 - x))}^{β - 1}

$\pi(\alpha, \beta) \propto \left( \frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha) \Gamma(\beta)} \right)^{\lambda +1} (x x_0)^{\alpha-1} \left(y_0 (1-x) \right)^{\beta-1}$

1

Ich empfehle demütig, dass das Originalplakat den Beitrag aktualisiert, um anzuzeigen, dass der im Lehrbuch angegebene Posterior gemäß Fred Schoens Kommentar (der leicht zu überprüfen ist) falsch ist.

RMurphy

Hat die Beta-Distribution ein Konjugat vor?

Antworten: