Der mit einem Stern versehene Schritt ist gültig, da (a) und q den gleichen nullten und zweiten Moment haben und (b) log ( p ) eine Polynomfunktion der Komponenten von x ist, deren Terme die Gesamtgrade 0 oder 2 haben .pqlog(p)x02
Sie müssen nur zwei Dinge über eine multivariate Normalverteilung mit dem Mittelwert Null wissen:
ist eine quadratische Funktion von x = ( x 1 , x 2 , … , x n ) ohne lineare Terme. Insbesondere gibt es Konstanten C und p i j , für die log ( p ( x ) ) = C + n Σ i , j = 1 p i jlog(p)x=(x1,x2,…,xn) Cpij
log(p(x))=C+∑i,j=1npijxixj.
(Natürlich können und das p i j in Σ geschrieben werden , aber dieses Detail spielt keine Rolle.)CpijΣ
gibt die zweiten Momente der Verteilung an. Das heißt, Σ i j = E p ( x i x j ) = ∫ P ( x )Σ
Σij=Ep(xixj)=∫p(x)xixjdx.
Wir können diese Informationen verwenden, um ein Integral zu erarbeiten:
=∫(q(x)−p(x))log(p(x))dx∫(q(x)−p(x))(C+∑i,j=1npijxixj)dx.
Es zerfällt in die Summe zweier Teile:
∫(q(x)−p(x))Cdx=C(∫q(x)dx−∫p(x)dx)=C(1−1)=0qp
∫(q(x)−p(x))∑ni,j=1pijxixjdx=∑ni,j=1pij∫(q(x)−p(x))xixjdx=0∫q(x)xixjdx∫p(x)xixjdxΣij
∫(q(x)−p(x))log(p(x))dx=0∫q(x)log(p(x))dx=∫p(x)log(p(x))dx.