Die Frage ist so ziemlich im Titel enthalten. Was ist der Mahalanobis-Abstand für zwei Verteilungen verschiedener Kovarianzmatrizen? Was ich bisher gefunden habe, setzt für beide Distributionen die gleiche Kovarianz voraus, dh etwas in dieser Art:
Was ist, wenn ich zwei verschiedene ?
Hinweis: - Das Problem ist folgendes: Es gibt zwei bivariate Verteilungen mit denselben Abmessungen, die jedoch gedreht und relativ zueinander übersetzt werden (sorry, ich komme aus einem rein mathematischen Hintergrund, nicht aus einem statistischen). Ich muss ihren Grad der Überlappung / Entfernung messen.
* Update: * Was in meiner Anfrage möglicherweise impliziert ist oder nicht, ist, dass ich einen Abstand zwischen den Mitteln der beiden Verteilungen benötige. Ich weiß, wo die Mittel sind, aber da die beiden Verteilungen gegeneinander gedreht sind, muss ich unterschiedlichen Orientierungen unterschiedliche Gewichte zuweisen, und daher funktioniert ein einfacher euklidischer Abstand zwischen den Mitteln nicht. Wie ich es verstanden habe, kann der Mahalanobis-Abstand nicht verwendet werden, um diese Informationen zu messen, wenn die Verteilungen unterschiedlich geformt sind (anscheinend funktioniert er mit zwei multivariaten Normalverteilungen identischer Kovarianzen, aber nicht im allgemeinen Fall). Gibt es ein gutes Maß, das diesen Wunsch codiert, Orientierungen mit unterschiedlichen Gewichten zu codieren?
quelle
Antworten:
Es gibt viele Begriffe von Abstand zwischen Wahrscheinlichkeitsverteilungen. Welche Sie verwenden, hängt von Ihren Zielen ab. Der Gesamtabweichungsabstand ist eine natürliche Methode zur Messung der Überlappung zwischen Verteilungen. Wenn Sie mit multivariaten Normalen arbeiten, ist die Kullback-Leibler-Divergenz mathematisch praktisch. Obwohl es sich eigentlich nicht um eine Entfernung handelt (da sie nicht symmetrisch ist und der Dreiecksungleichung nicht gehorcht), begrenzt sie die gesamte Variationsentfernung nach oben - siehe Pinskers Ungleichung .
quelle
Intro Wie @vqv erwähnte Total Variation und Kullback Leibler sind zwei interessante Entfernungen. Der erste ist sinnvoll, da er in direktem Zusammenhang mit Fehlern des ersten und zweiten Typs beim Testen von Hypothesen stehen kann. Das Problem mit der Gesamtvariationsentfernung besteht darin, dass die Berechnung schwierig sein kann. Die Kullback Leibler Distanz ist einfacher zu berechnen und ich werde später darauf zurückkommen. Es ist nicht symetrisch, kann aber symetrisch gemacht werden (irgendwie ein bisschen künstlich).
Antwort Etwas, das ich hier erwähne , ist, dass, wenn das logarithmische Wahrscheinlichkeitsverhältnis zwischen Ihren beiden Gaußschen Maßen P 0 , P 1 (sagen wir, dass für i = 0 , 1 P i den Mittelwert μ i und die Kovarianz C i hat ), das Fehlermaß ebenfalls überschneidet (im Gaußschen Fall fand ich es eigentlich ganz zentral) istL P0,P1 i=0,1 Pi μi Ci
für ein gut gewähltes .P1/2
In einfachen Worten :
Lassen Sie mich Ihnen erklären, warum dies mein Gefühl ist, wie Sie dies im Fall von berechnen können und wie Sie wählen .P 1 / 2C1≠C0 P1/2
Linearer Fall Wenn .C1=C0=Σ
wobei die "Interpolation" zwischen und (Gauß mit Kovarianz und Mittelwert ). Beachten Sie, dass in diesem Fall der Hellinger-Abstand, der gesamte Variationsabstand, alle mit geschrieben werden kann . P 1 P 0 Σ ( μ 1 + μ 0 ) / 2 σP1/2 P1 P0 Σ (μ1+μ0)/2 σ
So berechnen Sie im allgemeinen FallL Eine natürliche Frage, die sich aus Ihrer (und meiner ) Frage ergibt, ist, was eine natürliche "Interpolation" zwischen und wenn . Hier kann das Wort natürlich benutzerspezifisch sein, aber es kann zum Beispiel mit der besten Interpolation zusammenhängen, eine enge Obergrenze mit einem anderen Abstand zu haben (z. B. Abstand hier ) P 1 P 0 C 1 ≠ C 0 L 1P1 P0 C1≠C0 L1
Schreiben ( ) kann helfen, , wo sich die Interpolationsaufgabe befindet, aber:
mit
und
ist für Rechenzwecke relevanter. Für jedes Gaußsche mit dem Mittelwert und der Kovarianz die Berechnung von aus Gleichung etwas technisch aber fassbar. Sie können es auch verwenden, um die Kulback-Leibler-Entfernung zu berechnen.P1/2 s01 C ∥L∥2L2(P1/2) 1
Welche Interpolation sollten wir wählen (dh wie man wählt ) ?P1/2
Aus Gleichung geht klar hervor, dass es im "quadratischen" Fall viele verschiedene Kandidaten für (Interpolation) gibt. Die beiden Kandidaten, die ich als "am natürlichsten" (subjektiv :) ergeben sich aus der Definition einer Verteilung mit dem Mittelwert für :1 P1/2 t∈[0,1] Pt tμ1+(1−t)μ0
BEARBEITEN: Derjenige, den Sie in einem Kommentar zu Ihrer Frage vorschlagen, könnte , warum nicht ...Ct,5=Ct1C1−t0
Ich habe meine Lieblingswahl, die nicht die erste ist :) Ich habe nicht viel Zeit, um das hier zu diskutieren. Vielleicht bearbeite ich diese Antwort später ...
quelle
Dies ist alt, aber für andere, die dies lesen, spiegelt die Kovarianzmatrix die Rotation der Gaußschen Verteilungen wider und der Mittelwert spiegelt die Translation oder zentrale Position der Verteilung wider. Um den Mahab-Abstand zu bewerten, ist es einfach D = ((m2-m1) * inv ((C1 + C2) / 2) * (m2-m1) '). Wenn Sie nun den Verdacht haben, dass die beiden bivariaten Verteilungen gleich sind, aber den Verdacht haben, dass sie gedreht wurden, berechnen Sie die beiden Paare von Eigenvektoren und Eigenwerten für jede Verteilung. Die Eigenvektoren zeigen in Richtung der Ausbreitung der bivariaten Daten entlang der Haupt- und Nebenachse, und die Eigenwerte bezeichnen die Länge dieser Ausbreitung. Wenn die Eigenwerte gleich sind, sind die beiden Verteilungen gleich, aber gedreht. Nehmen Sie acos des Punktprodukts zwischen den Eigenvektoren, um den Drehwinkel zu erhalten.
quelle