Clustering: Soll ich die Jensen-Shannon-Divergenz oder deren Quadrat verwenden?

Antworten:

19

Ich denke, es hängt davon ab, wie es verwendet werden soll.

Nur als Referenz für andere Leser, wenn und Wahrscheinlichkeitsmaße sind, dann ist die Jensen-Shannon-Divergenz wobei der Mittelpunkt und der Kullback-Wert ist. Leibler-Divergenz.PQ.

J(P,Q.)=12(D(P∣∣R)+D(Q.∣∣R))
R=12(P+Q.)D(⋅∣∣⋅)

Jetzt wäre ich versucht, die Quadratwurzel der Jensen-Shannon-Divergenz zu verwenden, da sie eine Metrik ist , dh alle "intuitiven" Eigenschaften eines Entfernungsmaßes erfüllt.

Weitere Einzelheiten hierzu finden Sie unter

Endres und Schindelin, Eine neue Metrik für Wahrscheinlichkeitsverteilungen , IEEE Trans. auf Info. Deine. vol. 49, nein. 3, Jul. 2003, S. 1858-1860.

In gewissem Sinne kommt es natürlich darauf an, wofür Sie es brauchen. Wenn Sie nur ein paarweises Maß verwenden, funktioniert jede monotone Transformation von JSD. Wenn Sie nach etwas suchen, das einem "Quadratabstand" am nächsten kommt, dann ist die JSD selbst die analoge Größe.

Diese vorherige Frage und die damit verbundenen Antworten und Diskussionen könnten Sie übrigens auch interessieren .

Kardinal
quelle
Cool, ich werde so schnell wie möglich "eine neue Metrik für die Wahrscheinlichkeitsverteilung" lesen. Txh
ocram
Vielen Dank! Ich wusste nicht, dass JSD selbst bereits analog zu dist ** 2
AlcubierreDrive
Danke für die tolle Erklärung! Nur eine kurze Frage. Ich weiß, dass J-Divergenz darin symmetrisch ist J(P,Q) = J(Q,P). Ich habe gelesen, dass die JS-Divergenz in P und Q symmetrisch ist. Bedeutet das JS(P,Q) = JS(Q,P)? Ich frage dies, weil ich die KLdivFunktion aus dem flexmixPaket in verwende R. Für meine beiden Distributionen ist die Matrixausgabe von KLdiv nicht symmetrisch. Ich hatte erwartet, dass JS dies korrigiert, aber die Ausgabe von JS (berechnet mit KL) ist nicht symmetrisch.
Legende
1
PQ.