Schritte, um eine posteriore Verteilung herauszufinden, wenn es einfach genug sein könnte, eine analytische Form zu haben?

Dies wurde auch bei Computational Science gefragt .

Ich versuche, eine Bayes'sche Schätzung einiger Koeffizienten für eine Autoregression mit 11 Datenproben zu berechnen: wobei ist Gauß mit Mittelwert 0 und Varianz Die vorherige Verteilung auf dem Vektor ist Gauß mit Mittelwert und einer diagonalen Kovarianzmatrix mit diagonale Einträge gleich .

$$Y_{i} = \mu + \alpha\cdot{}Y_{i-1} + \epsilon_{i}$$ $\epsilon_{i}$$\sigma_{e}^{2}$$(\mu, \alpha)^{t}$$(0,0)$$\sigma_{p}^{2}$

Basierend auf der Autoregressionsformel bedeutet dies, dass die Verteilung der Datenpunkte ( ) normal mit dem Mittelwert und der Varianz . Somit wäre die Dichte für alle Datenpunkte gemeinsam (unter der Annahme, dass die Unabhängigkeit für das von mir geschriebene Programm in Ordnung ist):$Y_{i}$$\mu + \alpha\cdot{}Y_{i-1}$$\sigma_{e}^{2}$$(Y)$

$$p(Y \quad | (\mu, \alpha)^{t}) = \prod_{i=2}^{11}\frac{1}{\sqrt{2\pi\sigma_{e}^{2}}}\exp{\frac{-(Y_{i} - \mu - \alpha\cdot{}Y_{i-1})^{2}}{2\sigma_{e}^{2}}}.$$

Nach dem Bayes'schen Theorem können wir das Produkt der obigen Dichte mit der vorherigen Dichte nehmen, und dann brauchen wir nur die Normalisierungskonstante. Meine Vermutung ist, dass dies eine Gaußsche Verteilung sein sollte, so dass wir uns am Ende um die Normalisierungskonstante kümmern können, anstatt sie explizit mit Integralen über und berechnen .$\mu$$\alpha$

Dies ist der Teil, mit dem ich Probleme habe. Wie berechne ich die Multiplikation der vorherigen Dichte (die multivariat ist) und dieses Produkts der univariaten Datendichten? Der hintere Teil muss nur eine Dichte von und , aber ich kann nicht sehen, wie Sie das aus einem solchen Produkt herausholen können.$\mu$$\alpha$

Alle Hinweise sind wirklich hilfreich, auch wenn Sie mich nur in die richtige Richtung weisen und ich dann die unordentliche Algebra ausführen muss (was ich bereits mehrmals versucht habe).

Als Ausgangspunkt ist hier die Form des Zählers aus Bayes 'Regel:

$$\frac{1}{(2\pi\sigma_{e}^{2})^{5}\cdot{}2\pi\sigma_{p}^{2}} \exp{\biggl [ \frac{1}{2\sigma_{e}^{2}}\sum_{i=2}^{11}(Y_{i} - \mu - \alpha\cdot{}Y_{i-1})^{2} - \frac{\mu^{2}}{2\sigma_{p}^{2}} - \frac{\alpha^{2}}{2\sigma_{p}^{2}} \biggr ] }.$$

Das Problem ist, wie man sieht, dass dies auf eine Gaußsche Dichte von .$(\mu, \alpha)^{t}$

Hinzugefügt

Letztendlich läuft dies auf das folgende allgemeine Problem hinaus. Wenn Sie einen quadratischen Ausdruck wie wie bringen Sie das in eine quadratische Form für eine 2x2-Matrix ? Es ist in einfachen Fällen einfach genug, aber welchen Prozess verwenden Sie, um die mittleren Schätzungen und ?

$$A\mu^{2} + B\mu\alpha + C\alpha^{2} + J\mu + K\alpha + L$$ $(\mu-\hat{\mu},\alpha-\hat{\alpha})Q(\mu-\hat{\mu},\alpha-\hat{\alpha})^{t}$$Q$$\hat{\mu}$$\hat{\alpha}$

Beachten Sie, dass ich die einfache Möglichkeit ausprobiert habe, die Matrixformel zu erweitern und dann zu versuchen, die Koeffizienten wie oben darzustellen. In meinem Fall ist das Problem, dass die Konstante Null ist und ich dann drei Gleichungen in zwei Unbekannten erhalte, so dass es unterbestimmt ist, nur Koeffizienten abzugleichen (selbst wenn ich eine symmetrische quadratische Formmatrix annehme).$L$

In meiner Antwort auf die vorherige Antwort ging es darum, zu untersuchen, wie ich die Parameter integriert habe - denn Sie werden hier genau die gleichen Integrale verwenden. Bei Ihrer Frage wird davon ausgegangen, dass die Varianzparameter bekannt sind, sodass es sich um Konstanten handelt. Sie müssen nur die Abhängigkeit von vom Zähler betrachten. Um dies zu sehen, beachten Sie, dass wir schreiben können:$\alpha,\mu$

=

$$p(\mu,\alpha|Y)=\frac{p(\mu,\alpha)p(Y|\mu,\alpha)}{\int\int p(\mu,\alpha)p(Y|\mu,\alpha)d\mu d\alpha}$$ $$=\frac{\frac{1}{(2\pi\sigma_{e}^{2})^{5}\cdot{}2\pi\sigma_{p}^{2}} \exp{\biggl [ -\frac{1}{2\sigma_{e}^{2}}\sum_{i=2}^{11}(Y_{i} - \mu - \alpha\cdot{}Y_{i-1})^{2} - \frac{\mu^{2}}{2\sigma_{p}^{2}} - \frac{\alpha^{2}}{2\sigma_{p}^{2}} \biggr ] }}{\int\int \frac{1}{(2\pi\sigma_{e}^{2})^{5}\cdot{}2\pi\sigma_{p}^{2}} \exp{\biggl [ -\frac{1}{2\sigma_{e}^{2}}\sum_{i=2}^{11}(Y_{i} - \mu - \alpha\cdot{}Y_{i-1})^{2} - \frac{\mu^{2}}{2\sigma_{p}^{2}} - \frac{\alpha^{2}}{2\sigma_{p}^{2}} \biggr ] }d\mu d\alpha}$$

Beachten Sie, wie wir den ersten Faktor aus dem Doppelintegral auf dem Nenner, und es bricht mit dem Zähler ab. Wir können auch die Summe der Quadrateexp [ -$\frac{1}{(2\pi\sigma_{e}^{2})^{5}\cdot{}2\pi\sigma_{p}^{2}}$und es wird auch abgebrochen. Das Integral, mit dem wir übrig bleiben, ist jetzt (nach Erweiterung des quadratischen Terms):$\exp{\biggl [ -\frac{1}{2\sigma_{e}^{2}}\sum_{i=2}^{11}Y_{i}^{2} \biggr ]}$

$$=\frac{\exp{\biggl [ -\frac{10\mu^2+\alpha^2\sum_{i=1}^{10}Y_{i}^{2}-2\mu\sum_{i=2}^{11}Y_i-2\alpha\sum_{i=2}^{11}Y_{i}Y_{i-1}+2\mu\alpha\sum_{i=1}^{10}Y_i}{2\sigma_{e}^{2}} - \frac{\mu^{2}}{2\sigma_{p}^{2}} - \frac{\alpha^{2}}{2\sigma_{p}^{2}} \biggr ] }}{\int\int \exp{\biggl [ -\frac{10\mu^2+\alpha^2\sum_{i=1}^{10}Y_{i}^{2}-2\mu\sum_{i=2}^{11}Y_i-2\alpha\sum_{i=2}^{11}Y_{i}Y_{i-1}+2\mu\alpha\sum_{i=1}^{10}Y_i}{2\sigma_{e}^{2}} - \frac{\mu^{2}}{2\sigma_{p}^{2}} - \frac{\alpha^{2}}{2\sigma_{p}^{2}} \biggr ] }d\mu d\alpha}$$

Now we can use a general result from the normal pdf.

$$\int \exp\left(-az^2+bz-c\right)dz=\sqrt{\frac{\pi}{a}}\exp\left(\frac{b^2}{4a}-c\right)$$ This follows from completing the square on $-az^2+bz$ and noting that $c$ does not depend on $z$. Note that the inner integral over $\mu$ is of this form with $a=\frac{10}{2\sigma^2_e}+\frac{1}{2\sigma^2_p}$ and $b=\frac{\sum_{i=2}^{11}Y_i-\alpha\sum_{i=1}^{10}Y_i}{\sigma_{e}^{2}}$ and $c=\frac{\alpha^2\sum_{i=1}^{10}Y_{i}^{2}-2\alpha\sum_{i=2}^{11}Y_{i}Y_{i-1}}{2\sigma_{e}^{2}}+ \frac{\alpha^{2}}{2\sigma_{p}^{2}}$. After doing this integral, you will find that the remaining integral over $\alpha$ is also of this form, so you can use this formula again, with a different $a,b,c$. Then you should be able to write your posterior in the form $\frac{1}{2\pi|V|^{\frac{1}{2}}}\exp\left[-\frac{1}{2}(\mu-\hat{\mu},\alpha-\hat{\alpha})V^{-1}(\mu-\hat{\mu},\alpha-\hat{\alpha})^T\right]$ where $V$ is a $2\times 2$ matrix

Let me know if you need more clues.

update

(note: correct formula, should be $10\mu^2$ instead of $\mu^2$)

if we look at the quadratic form you've written in the update, we notice there is $5$ coefficients ($L$ is irrelevant for posterior as we can always add any constant which will cancel in the denominator). We also have $5$ unknowns $\hat{\mu},\hat{\alpha},Q_{11},Q_{12}=Q_{21},Q_{22}$. Hence this is a "well posed" problem so long as the equations are linearly independent. If we expand the quadratic $(\mu-\hat{\mu},\alpha-\hat{\alpha})Q(\mu-\hat{\mu},\alpha-\hat{\alpha})^{t}$ we get:

$$Q_{11}(\mu-\hat{\mu})^2+Q_{22}(\alpha-\hat{\alpha})^2+2Q_{12}(\mu-\hat{\mu})(\alpha-\hat{\alpha})$$ $$=Q_{11}\mu^{2} + 2Q_{21}\mu\alpha + Q_{22}\alpha^{2} - (2Q_{11}\hat{\mu}+2Q_{12}\hat{\alpha})\mu - (2Q_{22}\hat{\alpha}+2Q_{12}\hat{\mu})\alpha +$$ $$+Q_{11}\hat{\mu}^2+Q_{22}\hat{\alpha}^2+2Q_{12}\hat{\mu}\hat{\alpha}$$

Comparing second order coefficient we get $A=Q_{11},B=2Q_{12},C=Q_{22}$ which tells us what the (inverse) covariance matrix looks like. Also we have two slightly more complicated equations for $\hat{\alpha},\hat{\mu}$ after substituting for $Q$. These can be written in matrix form as:

$$-\begin{pmatrix}2A & B \\ B & 2C\end{pmatrix} \begin{pmatrix}\hat{\mu} \\ \hat{\alpha}\end{pmatrix} = \begin{pmatrix}J \\ K\end{pmatrix}$$

Thus the estimates are given by:

$$\begin{pmatrix}\hat{\mu} \\ \hat{\alpha}\end{pmatrix} = -\begin{pmatrix}2A & B \\ B & 2C\end{pmatrix}^{-1}\begin{pmatrix}J \\ K\end{pmatrix}=\frac{1}{4AC-B^2}\begin{pmatrix}BK-2JC \\ BJ-2KA\end{pmatrix}$$

Showing that we do not have unique estimates unless $4AC\neq B^2$. Now we have:

$$\begin{array}{c c} A=\frac{10}{2\sigma^2_e}+\frac{1}{2\sigma^2_p} & B=\frac{\sum_{i=1}^{10}Y_i}{\sigma_{e}^{2}} & C=\frac{\sum_{i=1}^{10}Y_{i}^{2}}{2\sigma^2_e}+\frac{1}{2\sigma^2_p} \\ J=-\frac{\sum_{i=2}^{11}Y_i}{\sigma_{e}^{2}} & K=-\frac{\sum_{i=2}^{11}Y_{i}Y_{i-1}}{\sigma_{e}^{2}} \end{array}$$

Note that if we define $X_i=Y_{i-1}$ for $i=2,\dots,11$ and take the limit $\sigma^2_p\to\infty$ then the estimates for $\mu,\alpha$ are given by the usual least squares estimate $\hat{\alpha}=\frac{\sum_{i=2}^{11}(Y_{i}-\overline{Y})(X_{i}-\overline{X})}{\sum_{i=2}^{11}(X_{i}-\overline{X})^2}$ and $\hat{\mu}=\overline{Y}-\hat{\alpha}\overline{X}$ where $\overline{Y}=\frac{1}{10}\sum_{i=2}^{11}Y_i$ and $\overline{X}=\frac{1}{10}\sum_{i=2}^{11}X_i=\frac{1}{10}\sum_{i=1}^{10}Y_i$. So the posterior estimates are a weighted average between the OLS estimates and the prior estimate $(0,0)$.