Man beweise, dass die maximale Entropieverteilung mit einer festen Kovarianzmatrix ein Gaußscher Wert ist

13

Ich versuche, mich mit dem folgenden Beweis zu beschäftigen, dass der Gaußsche die maximale Entropie hat.

Wie macht der markierte Schritt Sinn? Eine bestimmte Kovarianz korrigiert nur den zweiten Moment. Was passiert mit dem dritten, vierten, fünften Moment usw.?

Bildbeschreibung hier eingeben

Tarrare
quelle

Antworten:

13

Der mit einem Stern versehene Schritt ist gültig, da (a) und q den gleichen nullten und zweiten Moment haben und (b) log ( p ) eine Polynomfunktion der Komponenten von x ist, deren Terme die Gesamtgrade 0 oder 2 haben .pqlog(p)x02


Sie müssen nur zwei Dinge über eine multivariate Normalverteilung mit dem Mittelwert Null wissen:

  1. ist eine quadratische Funktion von x = ( x 1 , x 2 , , x n ) ohne lineare Terme. Insbesondere gibt es Konstanten C und p i j , für die log ( p ( x ) ) = C + n Σ i , j = 1 p i jlog(p)x=(x1,x2,,xn) Cpij

    log(p(x))=C+i,j=1npijxixj.

    (Natürlich können und das p i j in Σ geschrieben werden , aber dieses Detail spielt keine Rolle.)CpijΣ

  2. gibt die zweiten Momente der Verteilung an. Das heißt, Σ i j = E p ( x i x j ) = P ( x )Σ

    Σij=Ep(xixj)=p(x)xixjdx.

Wir können diese Informationen verwenden, um ein Integral zu erarbeiten:

(q(x)p(x))log(p(x))dx=(q(x)p(x))(C+i,j=1npijxixj)dx.

Es zerfällt in die Summe zweier Teile:

  • (q(x)p(x))Cdx=C(q(x)dxp(x)dx)=C(11)=0qp

  • (q(x)p(x))i,j=1npijxixjdx=i,j=1npij(q(x)p(x))xixjdx=0q(x)xixjdxp(x)xixjdxΣij

(q(x)p(x))log(p(x))dx=0q(x)log(p(x))dx=p(x)log(p(x))dx.

whuber
quelle
1

q(x)p(x)σichjxichxjp(x)p(x)q(x) auf den gleichen Wert integrieren.

F. Tusell
quelle