Wie vervollständige ich das Quadrat mit normaler Wahrscheinlichkeit und normalem Prior?

Wie vervollständige ich das Quadrat ab dem Punkt, an dem ich aufgehört habe, und ist das bisher richtig?

Ich habe einen normalen Prior für der Form , um zu erhalten:p ( β | σ 2 ) ∼ N ( 0 , σ 2 V $\beta$$p(\beta|\sigma^2)\sim \mathcal{N}(0,\sigma^2V)$

$p(\beta|\sigma^2)=(2\pi\sigma^2V)^\frac{p}{2}\exp[-\frac{1}{2\sigma^2}\beta^T\beta]$

wo ist .p ∑ i = 1 β 2 $\beta^T\beta$$\sum\limits_{i=1}^p \beta_i^2$

Meine Wahrscheinlichkeit hat eine normale Verteilung für die Datenpunkte y der Form$p(y|\beta,\sigma^2)\sim\mathcal{N}(B\beta,\sigma^2I)$

$p(y|\beta,\sigma^2)=(2\pi \sigma^2V)^\frac{n}{2}\exp[-\frac{1}{2\sigma^2}({\bf y}-{\bf B}{\bf \beta})^T({\bf y}-{\bf B}{\bf \beta})]$

(Beachten Sie, dass eine Matrix / ein Vektor ist, \ bf funktioniert nicht.)$\beta$

Um meinen Posterior für zu bekommen, habe ich das Obige kombiniert, nur die exponentiellen Teile genommen und dann erweitert, um zu erhalten:$\beta$

$\exp[-\frac{1}{2\sigma^2}({\bf y}^T{\bf y}-{\bf y}^T{\bf B}\beta-\beta{\bf B}^T{\bf y}-\beta^T{\bf B}^T{\bf B}\beta)]\exp[-\frac{1}{2\sigma^2}({\bf \beta}^T{\bf B})]$ .

Ich habe den Begriff gestrichen, da er keine Funktion von .$({\bf y}^T{\bf y})$$\beta$

In einen Ausdruck ohne Exponential setzen:

$-\frac{1}{2\sigma^2}(-{\bf y}^T{\bf B}\beta-\beta{\bf B}^T{\bf y}-\beta^T{\bf B}^T{\bf B}\beta+{\bf \beta}^T{\bf B})$ .

Ich weiß, dass ich ähnliche Begriffe kombinieren und in die Form der multivariaten Normalverteilung gelangen muss, was ich anstrebe, aber ich bin mir nicht sicher, wie ich das machen soll? Ich muss dem Ausdruck wahrscheinlich einen zusätzlichen Begriff hinzufügen, um ihn in die richtige Form zu bringen.

Hinweis: Dies sind keine Hausaufgaben, es ist ein Projekt, aber meine Bayes'schen Arbeitskenntnisse sind überhaupt nicht gut und deshalb muss ich das Training verstehen. Ich beabsichtige, die und dann die zu integrieren, nachdem ich in die multivariate Form gekommen bin .σ $\beta$$\sigma^2$

Ich fange von vorne an, da der ursprüngliche Beitrag einige mathematische Tippfehler wie falsche Vorzeichen, Löschen der Matrix usw. enthält.$V$

Sie haben zuvor und die Wahrscheinlichkeit angegeben: p ( y | β ) = N ( B β , σ 2 I ) .$p(\beta)=\mathcal{N}( 0, \sigma^2 V )$$p(y | \beta ) = \mathcal{N}( B\beta, \sigma^2I )$

Wir können jeden dieser Begriffe nur als Ausdruck von Begriffen innerhalb der schreiben , die von β abhängen , und alle Begriffe, die nicht mit β zusammenhängen, in einer einzigen Konstante zusammenfassen:$\exp$$\beta$$\beta$

$\log p( \beta ) + \mbox{const} = -\frac{1}{2\sigma^2} \beta^T V^{-1} \beta$

$\log p( y | \beta ) + \mbox{const} = -\frac{1}{2\sigma^2}( \beta^T B^TB \beta - 2y^T B \beta ) \quad$(Beachten Sie, dass immer)$y^TB\beta = \beta^T B^T y$

Wenn Sie diese im Log-Bereich hinzufügen und ähnliche Begriffe sammeln, erhalten Sie den nicht normalisierten Log-Posterior

$\log p( \beta | y ) + \mbox{const} = -\frac{1}{2\sigma^2}( \beta^T(V^{-1} + B^TB)\beta - 2y^T B \beta )\quad$ (1)

... hier haben wir die Standardidentität für alle Vektoren x und Matrizen A , C geeigneter Größe verwendet.$x^TAx + x^TCx = x^T(A+C)x$$x$$A,C$

OK, unser Ziel ist es jetzt, das Quadrat zu "vervollständigen". Wir möchten einen Ausdruck der folgenden Form, der darauf hinweist, dass der hintere Teil für Gaußsch ist.$\beta$

$\log p( \beta | y ) + \mbox{const} = (\beta - \mu_p)^T \Lambda_p (\beta - \mu_p ) = \beta^T \Lambda_p \beta -2\mu_p^T \Lambda_p \beta + \mu_p^T \Lambda_p \mu_p$

wobei die Parameter den posterioren Mittelwert bzw. die inverse Kovarianzmatrix definieren. $\mu_p, \Lambda_p$

Nun, durch Inspektion Gl. (1) sieht dieser Form sehr ähnlich, wenn wir setzen

$\Lambda_p = V^{-1} + B^TB \quad$ und $\quad \mu_p = \Lambda_p^{-1}B^Ty$

Im Detail können wir zeigen, dass diese Substitution jeden notwendigen Term aus (1) erzeugt:

quadratischer Term: $\beta^T \Lambda_p \beta = \beta^T( V^{-1} + B^TB)\beta$

$\mu_p^T \Lambda_p \beta = ( \Lambda_p^{-1}B^Ty )^T \Lambda_p \beta = y^T B \Lambda_p^{-1} \Lambda_p \beta = y^T B \beta$

$(AB)^T = B^T A^T$$(\Lambda_p^{-1})^T =\Lambda_p^{-1}$$\Lambda_p$

$\mu_p^T \Lambda_p \mu_p$$\mu_p, \Lambda_p$

$\log p( \beta | y ) + \mbox{const} = -\frac{1}{2\sigma^2}[ (\beta-\mu_p)^T\Lambda_p(\beta-\mu_p) - \mu_p\Lambda_p\mu_p ]$

$\beta$