Was passiert mit dem Wahrscheinlichkeitsverhältnis, wenn immer mehr Daten gesammelt werden?

11

Lassen Sie , g und h Dichten und nehme an, Sie haben x i ~ h , i N . Was passiert mit dem Wahrscheinlichkeitsverhältnis n i = 1 f ( x i )fghxihiN alsn? (Konvergiert es? Zu was?)

i=1nf(xi)g(xi)
n

Zum Beispiel können wir annehmen . Der allgemeine Fall ist ebenfalls von Interesse.h=g

Olivier
quelle
4
@ Xi'an. Ich denke, das Hinzufügen dieser Frage zu SE ermöglicht es, die Verbindung über Fragen in der Antwort hinweg herzustellen. Obwohl es Ähnlichkeiten bei der Beantwortung geben kann, sind die Fragen nicht dieselben.
John
1
Danke für den Link. Die Frage ist nicht ein Duplikat, obwohl Antworten auf meine Frage kann die Kullback-Leibler - Divergenz beinhalten.
Olivier

Antworten:

15

Wenn man den Logarithmus dieses Produkts nimmt, ist und verwandelt es in einen Durchschnitt ˉ r n=1

r=logi=1nf(xi)g(xi)=i=1nlogf(xi)g(xi)
das Gesetz der großen Zahlen, daher erhält man die fast sichere Konvergenz ˉ r n a.s. Eh[logf(X)
r¯n=1ni=1nlogf(xi)g(xi)
Annahme, dass dieses Integral gut definiert ist [Gegenbeispiele sind leicht zu finden].
r¯na.s.Eh[logf(X)g(X)]=Xlogf(x)g(x)h(x)dx

Wenn zum Beispiel , g und h Dichten für die Normalverteilungen mit den Mitteln μ 1 , μ 2 bzw. Null sind, alle mit der Varianz Eins, ist der Wert von X log f ( x )fghμ1μ2 ist X { ( x - μ 1 ) 2 - ( x - μ 2 2 ) }

Xlogf(x)g(x)h(x)dx
X{(xμ1)2(xμ22)}φ(x)dx=μ12μ22.

Es ist auch zu beachten, dass ohne die Mittelung das Produkt konvergiert fast sicher gegen Null (wennxih(x)

i=1nf(xi)h(xi)
xih(x)). Während das Produkt konvergiert fast sicher gegen Null oder unendlich, je nachdem, obgoderfim Kullback-Leibler-Divergenzsinnnäher anh liegt(wennxih(x)
i=1nf(xi)g(xi)
gfhxih(x)).
Xi'an
quelle
g=h
1
f=gf=hghg=hfhfhfgghfgh
h
1
r=nrn
0

Zn=inp(x)q(x)

Wn=1nlog(Zn)=1ninlog(p(x)q(x))
limnWn=Eq(x)[log(p(x)q(x))]=Xlog(p(x)q(x))q(x)dx

log(a)<a1 a>0 a1p(x)q(x)>0p(x)q(x)

WnXlog(p(x)q(x))q(x)dx<X(p(x)q(x)1)q(x)dx=Xp(x)dxXq(x)dx=11=0
limnWn<0limn1nlog(Zn)<0limnn1nlog(Zn)=limnlog(Zn)=limnZn=0 

bgao
quelle