Unterschiede zwischen Bhattacharyya Abstand und KL Abweichung

33

Ich suche eine intuitive Erklärung für die folgenden Fragen:

Was ist in der Statistik und der Informationstheorie der Unterschied zwischen der Bhattacharyya-Distanz und der KL-Divergenz als Maß für den Unterschied zwischen zwei diskreten Wahrscheinlichkeitsverteilungen?

Haben sie überhaupt keine Beziehungen und messen sie den Abstand zwischen zwei Wahrscheinlichkeitsverteilungen auf völlig unterschiedliche Weise?

JewelSue
quelle

Antworten:

36

Der Bhattacharyya Koeffizient ist definiert als und kann in einen Abstand gedreht werden als was als Hellinger-Distanz bezeichnet wird . Ein Zusammenhang zwischen dieser Hellinger-Distanz und der Kullback-Leibler-Divergenz ist d H ( p , q ) , d H ( p , q ) = { 1 - D B ( p , q ) } 1 / 2

DB(p,q)=p(x)q(x)dx
dH(p,q)
dH(p,q)={1DB(p,q)}1/2
dKL(pq)2dH2(p,q)=2{1DB(p,q)}.

Dies ist jedoch nicht die Frage: Wenn die Bhattacharyya-Distanz definiert ist als

dB(p,q)=deflogDB(p,q),
dann
dB(p,q)=logDB(p,q)=logp(x)q(x)dx=deflogh(x)dx=logh(x)p(x)p(x)dxlog{h(x)p(x)}p(x)dx=12log{h2(x)p2(x)}p(x)dx=12log{q(x)p(x)}p(x)dx=12dKL(pq)
Daher die Ungleichung zwischen die zwei Abstände sind
dKL(pq)2dB(p,q).
Man könnte sich dann fragen, ob sich diese Ungleichung aus der ersten ergibt. Das Gegenteil ist der Fall : da
log(x)1x0x1,
Bildbeschreibung hier eingeben

wir haben die komplette Bestellung

dKL(pq)2dB(p,q)2dH(p,q)2.
Xi'an
quelle
2
Brillant! Diese Erklärung sollte die sein, nach der ich eifrig suche. Nur eine letzte Frage: In welchem ​​Fall (oder in welchen Arten von P und Q) wird die Ungleichheit zur Gleichheit?
JewelSue
1
Angesichts der Tatsache, dass die -Funktion streng konvex ist, würde ich annehmen, dass der einzige Fall für Gleichheit darin besteht, dass das Verhältnis in konstant ist . log()p(x)/q(x)x
Xi'an
5
Und der einzige Fall, in dem in konstant ist, ist, wenn . p(x)/q(x)xp=q
Xi'an,
8

Ich kenne keine explizite Beziehung zwischen den beiden, habe mich aber entschlossen, schnell nach ihnen zu stöbern, um zu sehen, was ich finden könnte. Das ist also keine wirkliche Antwort, sondern eher ein interessanter Punkt.

Arbeiten wir der Einfachheit halber über diskrete Verteilungen. Wir können die BC-Distanz als schreiben

dBC(p,q)=lnx(p(x)q(x))12

und die KL Divergenz als

dKL(p,q)=xp(x)lnp(x)q(x)

Jetzt können wir das Protokoll nicht innerhalb der Summe auf der -Distanz verschieben. Versuchen wir also, das Protokoll außerhalb der -Divergenz zu verschieben:BCKL

dKL(p,q)=lnx(q(x)p(x))p(x)

Betrachten wir ihr Verhalten, wenn als gleichmäßige Verteilung über Möglichkeiten festgelegt ist:pn

dKL(p,q)=lnnln(xq(x))1ndBC(p,q)=ln1nlnxq(x)

Links haben wir das Protokoll von etwas, das in der Form dem geometrischen Mittelwert ähnlich ist . Rechts haben wir etwas Ähnliches wie das Protokoll des arithmetischen Mittels . Wie ich bereits sagte, ist dies keine gute Antwort, aber ich denke, es gibt eine gute Vorstellung davon, wie der BC-Abstand und die KL-Divergenz auf Abweichungen zwischen und reagieren .qpq

Andy Jones
quelle