Der Bhattacharyya Koeffizient ist definiert als und kann in einen Abstand gedreht werden als was als Hellinger-Distanz bezeichnet wird . Ein Zusammenhang zwischen dieser Hellinger-Distanz und der Kullback-Leibler-Divergenz ist
d H ( p , q ) , d H ( p , q ) = { 1 - D B ( p , q ) } 1 / 2
DB(p,q)=∫p(x)q(x)−−−−−−−√dx
dH(p,q)dH(p,q)={1−DB(p,q)}1/2
dKL(p∥q)≥2d2H(p,q)=2{1−DB(p,q)}.
Dies ist jedoch nicht die Frage: Wenn die Bhattacharyya-Distanz definiert ist als
dB(p,q)=def−logDB(p,q),
dann
dB( p , q) = - logDB( p , q)= - log∫p ( x ) q( x )-------√d x=def- log∫h ( x )d x= - log∫h ( x )p ( x )p ( x )d x≤ ∫- log{ h ( x )p ( x )}p ( x )d x= ∫- 12Log{ h2( x )p2( x )}p ( x )d x= ∫- 12Log{ q( x )p ( x )}p ( x )d x = 12dKL( p ∥ q)
Daher die Ungleichung zwischen die zwei Abstände sind
dKL( p ∥ q) ≥ 2 dB( p , q).
Man könnte sich dann fragen, ob sich diese Ungleichung aus der ersten ergibt. Das Gegenteil ist der
Fall : da
- l o g( x ) ≥ 1 - x0 ≤ x ≤ 1,
wir haben die komplette Bestellung
dKL( p ∥ q) ≥ 2 dB( p , q) ≥ 2 dH( p , q)2.
Ich kenne keine explizite Beziehung zwischen den beiden, habe mich aber entschlossen, schnell nach ihnen zu stöbern, um zu sehen, was ich finden könnte. Das ist also keine wirkliche Antwort, sondern eher ein interessanter Punkt.
Arbeiten wir der Einfachheit halber über diskrete Verteilungen. Wir können die BC-Distanz als schreiben
und die KL Divergenz als
Jetzt können wir das Protokoll nicht innerhalb der Summe auf der -Distanz verschieben. Versuchen wir also, das Protokoll außerhalb der -Divergenz zu verschieben:BC KL
Betrachten wir ihr Verhalten, wenn als gleichmäßige Verteilung über Möglichkeiten festgelegt ist:p n
Links haben wir das Protokoll von etwas, das in der Form dem geometrischen Mittelwert ähnlich ist . Rechts haben wir etwas Ähnliches wie das Protokoll des arithmetischen Mittels . Wie ich bereits sagte, ist dies keine gute Antwort, aber ich denke, es gibt eine gute Vorstellung davon, wie der BC-Abstand und die KL-Divergenz auf Abweichungen zwischen und reagieren .qp q
quelle