Ähnlichkeits- oder Abstandsmaße zwischen zwei Kovarianzmatrizen

28

Gibt es Ähnlichkeits- oder Abstandsmaße zwischen zwei symmetrischen Kovarianzmatrizen (beide mit den gleichen Abmessungen)?

Ich denke hier an Analoga zur KL-Divergenz von zwei Wahrscheinlichkeitsverteilungen oder dem euklidischen Abstand zwischen Vektoren, außer wenn sie auf Matrizen angewendet werden. Ich stelle mir vor, dass es einige Ähnlichkeitsmessungen geben würde.

Idealerweise möchte ich auch die Nullhypothese testen, dass zwei Kovarianzmatrizen identisch sind.

distributions hypothesis-testing covariance-matrix kullback-leibler information-theory Ram Ahluwalia
quelle

3

die antworten auf diese frage : quant.stackexchange.com/q/121/108 können hilfreich sein.

Shabbychef

2

ausgezeichnete Frage und Antwort auf den Link - danke - ja, das ist, wohin ich wollte :)

Ram Ahluwalia

2

Verwandte Frage: Diagnosediagramm zur Bewertung der Homogenität von Varianz-Kovarianz-Matrizen . Verwandte Artikel: Ein einfaches Verfahren zum Vergleich von Kovarianzmatrizen .

Amöbe sagt Reinstate Monica

21

Sie können jede der Normen (siehe Wikipedia zu verschiedenen Normen; beachten Sie, dass die Quadratwurzel der Summe der quadratischen Abstände $\| A-B \|_p$ heißt Frobenius-Norm und unterscheidet sich von-Norm, der Quadratwurzel des größten Eigenwerts von, obwohl sie natürlich erzeugen würden die gleiche Topologie). Der KL-Abstand zwischen den beiden Normalverteilungen mit dem gleichen Mittel (etwa Null) und den beiden spezifischen Kovarianzmatrizen ist inWikipedia auchalsverfügbar. $\sqrt{\sum_{i,j} (a_{ij}-b_{ij})^2}$ $L_2$ $(A-B)^2$ $\frac12 [ \mbox{tr} (A^{-1}B) - \mbox{ln}( |B|/|A| ) ]$

Bearbeiten: Wenn eine der Matrizen eine modell-implizierte Matrix ist und die andere die Sample-Kovarianzmatrix, können Sie natürlich einen Likelihood-Ratio-Test zwischen beiden bilden. Meine persönliche Lieblingssammlung solcher Tests für einfache Strukturen findet sich in Rencher (2002) Methods of Multivariate Analysis . Weiterführende Fälle werden in der Kovarianzstrukturmodellierung behandelt, bei der ein vernünftiger Ausgangspunkt Bollen (1989) Strukturgleichungen mit latenten Variablen ist .

StasK
quelle

Ich habe ein Problem mit : Es gibt nicht den gleichen Wert, wenn Sie und permutieren (Ein realer Abstand sollte symmetrisch sein).

1 / 2 (tr (A^{- 1} B) - \log (| B | / | A |))

$1/2(\verb+tr+(A^{-1}B)-\log(|B|/|A|))$

A

$A$

B

$B$

user603

Ich habe ein Problem mit : Es ist keine affine Äquivariante (wenn Sie die Matrizen drehen, ändert sich die Entfernung!). Darüber hinaus sollten Sie irgendwie Ihre Matrizen skalieren (sie könnten in sehr unterschiedlichen Einheiten gemessen werden), auch, ist es nur natürlich ist , zu verlangen , dass der Abstand zwischen zwei Kovarianzmatrizen der gleiche wie der Abstand zwischen den entsprechenden Korrelationsmatrizen sein: so schlage ich .

(A - B)^{2}

$(A-B)^2$

(A det (A)^{- 1 / p} - B det (B)^{- 1 / p})^{2}

$(A\det(A)^{-1/p}-B\det(B)^{-1/p})^2$

user603

2

Erstens ist KL keine wirkliche Distanz, und das ist eine bekannte Tatsache. Zweitens, wenn die Matrizen in verschiedenen Einheiten gemessen werden, können sie nicht gleich sein.

StasK

Entspricht der KL-Abstand dem Wahrscheinlichkeitsverhältnis oder hängen sie zusammen?

Hashmuke

7

Bezeichne und deine Matrizen mit der Dimension . $\varSigma_1$ $\varSigma_2$ $p$

Cond Nummer: wobei ( ) der größte (kleinste) Eigenwert von , wobei definiert ist als: $\log(\lambda_1)-\log(\lambda_p)$ $\lambda_1$ $\lambda_p$ $\varSigma^*$ $\varSigma^*$ $\varSigma^*:=\varSigma_1^{-1/2}\varSigma_2\varSigma_1^{-1/2}$

Bearbeiten: Ich habe den zweiten der beiden Vorschläge bearbeitet. Ich glaube, ich hatte die Frage falsch verstanden. Der auf Bedingungsnummern basierende Vorschlag wird häufig in robusten Statistiken verwendet, um die Qualität der Anpassung zu bewerten. Eine alte Quelle, die ich dafür finden konnte, ist:

Yohai, VJ und Maronna, RA (1990). Die maximale Abweichung von robusten Kovarianzen. Kommunikationen in Statistik – Theorie und Methoden, 19, 3925–2933.

Ich hatte ursprünglich das Det-Verhältnis-Maß aufgenommen:

: wobei . $\log(\det(\varSigma^{**})/\sqrt{\det(\varSigma_2)*\det(\varSigma_1)})$ $\varSigma^{**}=(\varSigma_1+\varSigma_2)/2$

Dies wäre der Bhattacharyya-Abstand zwischen zwei Gaußschen Verteilungen mit demselben Ortsvektor. Ich muss die Frage ursprünglich als zu einer Situation gehörend gelesen haben, in der die beiden Kovarianzen aus Proben von Populationen stammten, von denen angenommen wurde, dass sie die gleichen Mittel hatten.

user603
quelle

7

Ein von Herdin (2005) eingeführtes Maß für die Korrelationsmatrixdistanz, ein aussagekräftiges Maß für die Bewertung nichtstationärer MIMO-Kanäle, ist wobei die Norm die Frobenius-Norm ist.

d = 1 - \frac{tr (R_{1} \cdot R_{2})}{‖ R_{1} ‖ \cdot ‖ R_{2} ‖},

$d = 1 - \frac{\text{tr}(R_1 \cdot R_2)}{\|R_1\| \cdot \|R_2\|},$

Davidc
quelle

+1. Vielen Dank für diese Antwort, es war sehr hilfreich für mich.

Amöbe sagt Reinstate Monica

1

Das ist eine minus Kosinus Ähnlichkeit, oder?

Firebug

4

Der Kovarianzmatrixabstand wird zum Verfolgen von Objekten in Computer Vision verwendet.

Die aktuell verwendete Metrik ist im Artikel "Eine Metrik für Kovarianzmatrizen" von Förstner und Moonen beschrieben.

Andres Romero
quelle

Ähnlichkeits- oder Abstandsmaße zwischen zwei Kovarianzmatrizen

Antworten: