Wie kann man diese Ungleichung der Gaußschen Mischung beweisen? (Anpassung / Überanpassung)

8

Sei f [x] eine Gaußsche Mischung pdf mit n Begriffen des einheitlichen Gewichts, bedeutet und entsprechenden Varianzen :{ σ 1 , . . . , σ n }{μ1,...,μn}{σ1,...,σn}

f(x)1ni=1n12πσi2e(xμi)22σi2

Es scheint intuitiv zu sein, dass die an den n Gaußschen Zentren abgetastete logarithmische Ähnlichkeit größer (oder gleich) der mittleren logarithmischen Wahrscheinlichkeit ist:

1nj=1nln(f(μj))f(x)ln(f(x))dx

Dies gilt offensichtlich für kleine Varianzen (jedes liegt auf einem schmalen Gaußschen Wert) und für sehr große Varianzen (alle liegen zusammen auf einem breiten Gaußschen Wert), und dies gilt auch für Jeder Satz von 's und ' s, den ich generiert und optimiert habe, aber ich kann nicht herausfinden, wie ich beweisen kann, dass es immer wahr ist. Hilfe? μ i μ i σ iμiμiμiσi

Jerry Guern
quelle
Sie vermissen wahrscheinlich eine Erwartung an die lhs?
Lacerbi
@lacerbi Nein, bin ich nicht. Es fehlt nichts. Auf der LHS wird das bei den indizierten 's ausgewertetx if(x)xi
Jerry Guern
Ja, tut mir leid - ich war zu müde und habe die Definition falsch verstanden.
Lacerbi

Antworten:

2

Dies ist eher ein erweiterter Kommentar, also nimm ihn als solchen. Definieren Sie: (ich verwende den Standard Notation für Gaußsche Verteilungen).

f(x)1ni=1nN(x|xi,σi2)

Sie möchten beweisen, dass: was

1ni=1nlogf(xi)f(x)logf(x)dx0
{1ni=1nlogf(xi)}+H[f]0.

H[f]1ni=1nlogf(x)N(x|xi,σi2)dx=1ni=1nloggi(xi)
gi(x)1nj=1nN(x|xj,σi2+σj2)
{1ni=1nlogf(xi)}+H[f]1ni=1nlogf(xi)gi(xi).
gifgif
Lacerbi
quelle
Vielen Dank. Es sieht so aus, als hätte ich nur beweisen müssen, dass die endgültige RHS> = 0 ist, was ebenfalls intuitiv, aber schwierig zu beweisen ist, aber dies ist in der Tat ein Schritt in die richtige Richtung. Ich habe das Papier schon einmal gesehen.
Jerry Guern
Es ist verlockend zu glauben, dass die endgültige RHS immer positiv ist, aber ich kann das auch nicht beweisen.
Jerry Guern
0

Ich denke ich habe es. Es sind nur elementare Schritte erforderlich, obwohl Sie sie richtig kombinieren müssen.

fii12πσi2e(xμi)22σi2

g(x)=xlog(x)f(x)log(f(x))1ni=1nfi(x)log(fi(x))

f(x)log(f(x))dx1ni=1nfi(x)log(fi(x))dx

iffi

log(f(μi))log(fi(μi))
1ni=1nlog(f(μi))1ni=1nlog(fi(μi))
1ni=1nlog(fi(μi))1ni=1nfi(x)log(fi(x))
log(fi(μi))=fi(x)log(fi(μi))dxfi(x)log(fi(x))dx
in
sjm.majewski
quelle
Ich bin verwirrt. Sie haben ag (x) definiert, es aber nie verwendet, und ich weiß nicht, was Ihr f_i bedeutet.
Jerry Guern
figg(1ni=1nfi(x))1ni=1ng(fi(x))
f>=fi1/nfi
1
1ni=1nlog(f(μi))1ni=1nlog(fi(μi))
1
Ja, ich habe es gestern gemerkt. Diese Ungleichung scheint ziemlich schwierig zu sein. Ich werde meine Antwort trotzdem mit einer Bearbeitung belassen.
sjm.majewski