Ein Maß für die "Varianz" aus der Kovarianzmatrix?

16

Wenn die Daten 1d sind, zeigt die Varianz das Ausmaß an, in dem sich die Datenpunkte voneinander unterscheiden. Wenn die Daten mehrdimensional sind, erhalten wir eine Kovarianzmatrix.

Gibt es ein Maß, das angibt, wie unterschiedlich die Datenpunkte im Allgemeinen für mehrdimensionale Daten sind?

Ich habe das Gefühl, dass es bereits viele Lösungen gibt, bin mir aber nicht sicher, welchen Begriff ich verwenden soll, um danach zu suchen.

Vielleicht kann ich so etwas wie die Eigenwerte der Kovarianzmatrix addieren, klingt das vernünftig?

dontloo
quelle
2
Determinante der Kovarianzmatrix. Ich werde bald eine ausführlichere Antwort veröffentlichen.
User603
5
Trace wird sehr oft verwendet. In PCA ist der von jeder Komponente erklärte Varianzanteil ein Bruchteil der "Gesamtvarianz", die als Spur der Kovarianzmatrix definiert ist. @ user603 Freue mich auf deine Antwort.
Amöbe sagt Reinstate Monica
2
adding up the eigenvalues of the covariance matrixist gleich der oben erwähnten Spurenamöbe.
TTNPHNS
Wofür sollte die Maßnahme angewendet werden?
HelloGoodbye
@HelloGoodbye hi, eigentlich habe ich einige [verrauschte] Daten mit Beschriftungen, und ich gehe im Voraus davon aus, dass die [wahren] Datenpunkte innerhalb derselben Kategorie nicht sehr unterschiedlich sein sollten. Ich suche nach einer Möglichkeit, den Grad der Unterschiede der Datenpunkte innerhalb jeder Kategorie zu messen, damit ich eine Vorstellung davon bekomme, wie verrauscht die Daten für jede Kategorie sind.
Dontloo

Antworten:

15

(Die folgende Antwort führt lediglich den in [0] bewiesenen Satz ein und gibt ihn wieder. Das Schöne an diesem Aufsatz ist, dass die meisten Argumente in Bezug auf die lineare Grundalgebra vorgebracht werden. Um diese Frage zu beantworten, reicht es aus, die Hauptergebnisse anzugeben, aber Überprüfen Sie auf jeden Fall die Originalquelle.

In jeder Situation, in der das multivariate Muster der Daten durch eine variable elliptische Verteilung beschrieben werden kann , reduziert sich die statistische Inferenz per Definition auf das Problem der Anpassung (und Charakterisierung) eines k- variablen Ortsvektors (z. B. θ ) und eines k durch k symmetrische semipositive definite Matrix (sagen wir Σ ) zu den Daten. Aus Gründen, die ich im Folgenden erläutere (von denen Sie jedoch bereits ausgehen), ist es oft sinnvoller, Σ in eine Formkomponente (eine SPSD-Matrix mit der gleichen Größe wie Σ ) zu zerlegen, die die Form der Dichtekonturen Ihrer multivariaten Verteilung berücksichtigt und ein Skalar σ SkkθkkΣΣΣσS den Maßstab dieser Konturen auszudrücken.

In univariate Daten ( ), Σ , die Kovarianzmatrix Ihrer Daten ist ein Skalar und, wie aus der nachfolgenden Diskussion folgen wird, ist die Form Komponente von Σ ist 1 , so dass Σ gleich seine Skala Komponente Σ = σ S immer und es ist keine Mehrdeutigkeit möglich.k=1ΣΣΣΣ=σS

In multivariaten Daten sind viele Skalierungsfunktionen möglich. Eins insbesondere ( σ S = | ΣσS ) zeichnet sich durch eine wünschenswerte Schlüsseleigenschaft aus. Dies sollte es zur bevorzugten Wahl des Skalierungsfaktors im Kontext elliptischer Familien machen.σS=|ΣΣ|1/k


Viele Probleme in der MV-Statistik betreffen die Schätzung einer Streumatrix, die als Funktion (al) symmetrischer, halbpositiver Definit in R k × k definiert ist und die folgende Bedingungen erfüllt:ΣRk×k

(für nicht singuläre Matrizen A und Vektoren , b ). Zum Beispiel erfüllt die klassische Kovarianzschätzung (0), ist aber keineswegs die einzige.

(0)Σ(EINX+b)=EINΣ(X)EIN
EINb

Bei elliptisch verteilten Daten, bei denen alle Dichtekonturen Ellipsen sind, die durch dieselbe Formmatrix definiert sind, ist es bis zur Multiplikation mit einem Skalar selbstverständlich, normalisierte Versionen von der Form zu berücksichtigen :Σ

VS=Σ/S(Σ)

wobei eine 1-honogene Funktion ist, die erfüllt:S

(1)S(λΣ)=λS(Σ)

für alle . Dann V S ist die Form - Komponente der Streumatrix (in Kurzform - Matrix) und genannte σ S = S 1 / 2 ( Σ ) ist der Maßstab Komponente der Streumatrix bezeichnet. Beispiele für multivariate Schätzprobleme, bei denen die Verlustfunktion nur von Σ durch ihre Formkomponente V S abhängt, umfassen Tests der Sphärizität, PCA und CCA unter anderem.λ>0VSσS=S1/2(Σ)ΣVS

Natürlich gibt es viele mögliche Skalierungsfunktionen, so dass immer noch die Frage offen bleibt, was (wenn überhaupt) von mehreren Auswahlmöglichkeiten der Normalisierungsfunktion in gewissem Sinne optimal ist. Beispielsweise:S

  • (zum Beispiel der von @amoeba in seinem Kommentar unter der Frage des OP vorgeschlagene. Siehe auch [1], [2], [3])S=tr(Σ)/k
  • ([4], [5], [6], [7], [8])S=|Σ|1/k
  • (der erste Eintrag der Kovarianzmatrix)Σ11
  • (der erste Eigenwert von Σ )λ1(Σ)Σ

Es gilt jedoch ist die einzige Skalierungsfunktion, für die die Fisher-Informationsmatrix für die entsprechenden Schätzungen von Maßstab und Form in lokal asymptotisch normalen Familien blockdiagonal ist (dh der Maßstab und die Formkomponenten des Schätzproblems sind asymptotisch orthogonal) [0] ]. Dies bedeutet unter anderem, dass die Skalenfunktion S = | Σ | 1 / k ist die einzige Wahl von S, für die die Nichtspezifikation von & sgr; S keinen Wirkungsgradverlust verursacht, wenn eine Folgerung an V S durchgeführt wird .S=|Σ|1/kS=|Σ|1/kSσSVS

Ich kenne keine vergleichsweise starke Optimalitätscharakterisierung für eine der vielen möglichen Entscheidungen von , die (1) erfüllen.S

  • [0] Paindaveine, D., Eine kanonische Definition der Form, Statistics & Probability Letters, Band 78, Ausgabe 14, 1. Oktober 2008, Seiten 2240-2247. Ungated Link
  • [1] Dumbgen, L. (1998). Über Tylers M-Funktional der Streuung in hohen Dimensionen, Ann. Inst. Statist. Mathematik. 50, 471–491.
  • [2] Ollila, E., TP Hettmansperger und H. Oja (2004). Affine äquivariante multivariate Vorzeichenmethoden. Preprint, Universität Jyväskylä.
  • [3] Tyler, DE (1983). Robustheits- und Effizienzmerkmale von Streumatrizen, Biometrika 70, 411–420.
  • [4] Dumbgen, L. und DE Tyler (2005). Zu den Durchschlusseigenschaften einiger multivariater M-Funktionalen hat Scand. J. Statist. 32, 247–264.
  • [5] Hallin, M. und D. Paindaveine (2008). Optimale rangbasierte Tests für die Homogenität der Streuung, Ann. Statist., Erscheinen.
  • [6] Salibian-Barrera, M., S. Van Aelst und G. Willems (200 6). Hauptkomponentenanalyse basierend auf multivariaten MM-Schätzern mit schnellem und robustem Bootstrap, J. Amer. Statist. Assoc. 101, 1198–1211.
  • [7] Taskinen, S., C. Croux, A. Kankainen, E. Ollila und H. O. Ja (2006). Einflussfunktionen und Wirkungsgrade der kanonischen Korrelation und Vektorschätzungen basierend auf Streu- und Formmatrizen, J. Multivariate Anal. 97, 359–384.
  • [8] Tatsuoka, KS und DE Tyler (2000). Zur Einzigartigkeit von S-Funktionalen und M-Funktionalen unter nichtelliptischen Verteilungen, Ann. Statist. 28, 1219–1243.
user603
quelle
1
Außerdem ist eine seltsame Wahl für die Skalenkomponente, da sie nicht rotationsinvariant ist ...Σ11
Amöbe sagt Reinstate Monica
Danke für die überlegte Antwort! Es wird allerdings einige Zeit dauern, bis ich es vollständig verstanden habe :)
dontloo
@amoeba: angewendet auf XΣ . Ich lasse das X fallenXX im Rest der Antwort, da keine Verwechslung möglich ist. Ich bin damit einverstanden, dass es ein bisschen ungeschickt ist, also benutze ich jetzt Σ ( XXX . Ich stimme Ihrem zweiten Kommentar zu. Aus dem gleichen Grund ist λ 1 ( Σ ) für eine Neuskalierung nicht invariant. In diesem Sinne ist die Homogenitätsbedingung für S ein sehr niedriger Balken. Σ(XX)λ1(Σ)S
User603
Warten; warum sollte man wollen oder erwarten, dass die Skalierungskomponente gegenüber einer Neuskalierung unveränderlich ist?
Amöbe sagt Reinstate Monica
Entschuldigung, ich meinte, wenn Sie als Skalierungsfunktion verwenden, ist die resultierende Formmatrix nicht gleichbedeutend mit einer Neuskalierung. λ1(Σ)
User603
10

Die Varianz einer skalaren Variablen ist definiert als die quadratische Abweichung der Variablen von ihrem Mittelwert:

Var(X)=E[(XE[X])2]

Eine Verallgemeinerung zu einer skalarwertigen Varianz für vektorwertige Zufallsvariablen kann erhalten werden, indem die Abweichung als euklidischer Abstand interpretiert wird :

Vars(X)=E[XE[X]22]

Dieser Ausdruck kann umgeschrieben werden als

Vars(X)=E[(XE[X])(XE[X])]=E[i=1n(XiE[Xi])2]=i=1nE[(XiE[Xi])2]=i=1nVar(Xi)=i=1nCii

where C is the covariance matrix. Finally, this can be simplified to

Vars(X)=tr(C)

which is the trace of the covariance matrix.

HelloGoodbye
quelle
4

Although the trace of the covariance matrix, tr(C), gives you a measure of the total variance, it does not take into account the correlation between variables.

If you need a measure of overall variance which is large when your variables are independent from each other and is very small when the variables are highly correlated, you can use the determinant of the covariance matrix, |C|.

Please see this article for a better clarification.

Sahar
quelle
4

If you need just one number, then I suggest a largest eigen value of a covariance matrix. This is also an explained variance of the first principal component in PCA. It tells you how much total variance can be explained if you reduce the dimensionality of your vector to one. See this answer on math SE.

The idea's that you collapse your vector into just one dimension by combining all variables linearly into one series. You end up with 1d problem.

The explained variance can be reported in % terms to the total variance. In this case you'll see immediately if there is a lot of linear correlation between series. In some applications this number can be 80% and higher, e.g. interest rate curve modeling in finance. It means that you can construct a linear combination of variables that explains 80 of variance of all variables.

Aksakal
quelle
3

The entropy concept from information theory seems to suit the purpose, as a measure of unpredictability of information content, which is given by

H(X)=p(x)logp(x)dx.

If we assume a multivariate Gaussian distribution for p(x) with mean μ and covariance Σ derived from the data, according to wikipedia, the differential entropy is then,

H(X)=12log((2πe)ndet(Σ))
where n is the number of dimensions. Since multivariate Gaussian is the distribution that maximizes the differential entropy for given covariance, this formula gives an entropy upper bound for an unknown distribution with a given variance.

And it depends on the determinant of the covariance matrix, as @user603 suggests.

dontloo
quelle
This answer doesn't seem to be in the same spirit as the question. Covariances and variances are properties of any distribution (although they might be infinite or undefined in some cases), whereas this answer focuses on an exceedingly special case of a multivariate Normal distribution. It therefore doesn't apply to most of the situations implicitly envisioned in the question. Could you perhaps elaborate on the sense in which your answer could be construed as providing some useful guidance in the general case where the data aren't necessarily Normal?
whuber
@whuber thanks for the suggestion i guess maybe i should rewrite Gaussian as "the distribution that maximizes the entropy given a variance"? then the result will become some upper bound. what do you think?
dontloo
That sounds like it's going somewhere useful and more general.
whuber
1
I guess there are many ways to skin a cat;). I actually thing the link between your answer and mine are very strong. I have a minor quibble; I think the determinant has some optimality property for the problem you try to solve (and need not just be chosen on grounds of familiarity) and I think these optimality properties extend beyond covariance matrices (they hold for the determinant of whatever scatter functional you happen to chose and there are many out there) and extend beyond the Gaussian distribution (to the whole elliptical family).
user603