Gibt es eine Wahrscheinlichkeitsentfernung, die alle Eigenschaften einer Metrik beibehält?

13

Bei der Untersuchung der Kullback-Leibler-Distanz lernen wir sehr schnell, dass sie weder die Dreiecksungleichung noch die Symmetrie berücksichtigt, die für eine Metrik erforderlich ist.

Meine Frage ist, ob es eine Metrik von Wahrscheinlichkeitsdichtefunktionen gibt, die alle Bedingungen einer Metrik erfüllt .

distributions distance metric Jorge Leitao
quelle
Um den Fokus auf Wahrscheinlichkeitsdichten ist auf dem „falschen“ Objekt zu fokussieren. Was die Metriken anbelangt, so gibt es die "klassischen", z. B. Lévy (und die zugehörige Ky-Fan-Metrik für Zufallsvariablen), Wasserstein sowie solche, die dem Geist nach näher sind, z. B. Jensen-Shannon-Divergenz . Obwohl historisch meist übersehen, ist zu beachten, dass die KL-Divergenz im ursprünglichen KL-Papier tatsächlich symmetrisch war (obwohl immer noch keine Metrik).
Kardinal
1
@cardinal, na ja, ich bin nicht so auf dem Gebiet, kannst du bitte das "richtige" Objekt vorschlagen?
Jorge Leitao
2
JC: Tut mir leid, das Kommentarfeld wurde zu klein für alles, was ich dort hineinpassen wollte. Ich hätte es ausarbeiten sollen. Die kumulative Verteilungsfunktion erweist sich als allgemeineres und natürlicheres Untersuchungsobjekt. :-)
Kardinal
@ Kardinal warum? ;)
Jorge Leitao

Antworten:

19

L2

John Jiang
quelle
2
Das ist ein gutes Papier - vor allem Abbildung 1. Ich bewahre eine Kopie davon auf, um später darauf zurückgreifen zu können.
Pat
1

Es gibt einige Änderungen an der KL-Divergenz, die dazu führen, dass einige der Metrikeigenschaften (wenn auch nicht alle) erfasst werden.

Beispielsweise modifiziert die Divergenz des Jeffrey die KL-Divergenz, um sie symmetrisch zu machen.

Es gibt einige Sonderfälle, siehe [1]: "Leider erfüllen traditionelle Maße, die auf der Kullback-Leibler (KL) -Divergenz und der Bhattacharyya-Distanz basieren, nicht alle für viele Algorithmen erforderlichen metrischen Axiome. In diesem Artikel schlagen wir eine Modifikation für die KL vor Divergenz und der Bhattacharyya-Abstand für multivariate Gauß-Dichten, die die beiden Maße in Abstandsmetriken umwandeln. "

[1] K. Abou-Moustafa und F. Ferrie, "Eine Anmerkung zu metrischen Eigenschaften für einige Divergenzmessungen: Der Gaußsche Fall", JMLR: Workshop and Conference Proceedings 25: 1–15, 2012.

user29652
quelle