Warum muss die Korrelationsmatrix positiv semidefinit sein und was bedeutet es, positiv semidefinit zu sein oder nicht?

Ich habe die Bedeutung der positiven semidefiniten Eigenschaft von Korrelations- oder Kovarianzmatrizen untersucht.

Ich suche Informationen zu

Definition der positiven Halbbestimmtheit;
Seine wichtigen Eigenschaften, praktische Implikationen;
Die Konsequenz einer negativen Determinante, Auswirkung auf multivariate Analyse- oder Simulationsergebnisse usw.

covariance-matrix eigenvalues determinant correlation-matrix Melone
quelle

Möchten Sie verstehen, was Semidefinitität ist , oder möchten Sie wissen, warum Korrelationsmatrizen semidefinit sein müssen , oder möchten Sie wissen, welche wichtigen Ergebnisse diese Eigenschaft impliziert?

Whuber

Wenn Korrelationsmatrizen nicht halbpositiv eindeutig sind, können negative Varianzen auftreten.

Ich habe Ihre Frage ein wenig bearbeitet, bitte überprüfen Sie es. Beachten Sie auch, dass eine Matrix mit einer geraden Anzahl negativer Eigenwerte immer noch eine positive Determinante hat.

TTNPHNS

Eine Kovarianzmatrix ist NICHT immer gleich der Korrelationsmatrix! Die Kovarianz berücksichtigt normalisierte Variablen, die Korrelationsmatrix nicht.

Manoj Kumar

Verwandte Fragen: Ist jede Kovarianzmatrix positiv bestimmt? betrachtet den umfassenderen Fall von Kovarianzmatrizen, von denen Korrelationsmatrizen ein Sonderfall sind; auch ist jede Korrelationsmatrix positiv semidefinit? und Ist jede Korrelationsmatrix positiv definitiv?

Silverfish

Antworten:

Die Varianz einer gewichteten Summe von Zufallsvariablen darf für alle Auswahlen von reellen Zahlen nicht negativ sein . Da die Varianz als ausgedrückt werden kann $\sum_i a_i X_i$ $a_i$

var (\sum_{ich} {ein}_{ich} X_{ich}) = \sum_{ich} \sum_{j} {ein}_{ich} {ein}_{j} cov (X_{ich}, X_{j}) = \sum_{ich} \sum_{j} {ein}_{ich} {ein}_{j} Σ_{ich, j},

$\operatorname{var}\left(\sum_i a_i X_i\right) = \sum_i \sum_j a_ia_j \operatorname{cov}(X_i,X_j) = \sum_i \sum_j a_ia_j \Sigma_{i,j},$ wir haben, dass die Kovarianzmatrix

positiv semidefinit sein muss (was manchmal nichtnegativ definit genannt wird). Recall , dass eine Matrix

positive semidefinite aufgerufen wird , wenn und nur wenn

Σ = [Σ_{i, j}]

$\Sigma = [\Sigma_{i,j}]$

C

$C$

\sum_{ich} \sum_{j} {ein}_{ich} {ein}_{j} C_{ich, j} \geq 0 \forall {ein}_{ich}, {ein}_{j} \in R .

$\sum_i \sum_j a_ia_j C_{i,j} \geq 0 \;\; \forall a_i, a_j \in \mathbb R.$

Dilip Sarwate
quelle

Vielen Dank, ich habe meine Ablehnung entfernt, aber ich habe keine Ablehnung erhalten, weil es keine Antwort auf die praktischen Auswirkungen gibt. Angenommen, ich habe eine Matrix, die nicht eindeutig positiv ist (z. B. aufgrund einer Änderung durch "Experte"). Was würde passieren, wenn ich damit Daten kalibriere und / oder simuliere? Ist dies ein echtes Problem, wenn versucht wird, eine große Summe zu studieren, und es gibt nur wenige negative Eigenwerte? Was wäre ein effizienter Algorithmus, um eine nicht positive semi-definite Korrelationsmatrix in eine positive semi-definite zu transformieren? Wie würde sich dieser Algorithmus auswirken?

Lcrmorin

@Were_cat Danke für die Umkehrung der Ablehnung.

Dilip Sarwate

Könnten Sie bitte die erste Gleichheit in der ersten Gleichung erklären?

Vivek Subramanian

@VivekSubramanian Varianz ist ein Sonderfall der Kovarianzfunktion:

und die Kovarianzfunktion ist bilinear (dh sie ist eine lineare Funktion in Bezug auf jedes Argument:

var (X) = cov (X, X)

$\operatorname{var}(X)=\operatorname{cov}(X,X)$

\begin{aligned} cov (\sum_{ich} {ein}_{ich} X_{ich}, Y.) & = \sum_{ich} {ein}_{ich} cov (X_{ich}, Y.) \\ cov (X, \sum_{ich} b_{j} {Y.}_{j},) & = \sum_{j} b_{j} cov (X, {Y.}_{j}) \end{aligned}

$\begin{align}\operatorname{cov}\left(\sum_i a_iX_i,Y\right)&=\sum_i a_i\operatorname{cov}(X_i,Y)\\ \operatorname{cov}\left(X, \sum_i b_jY_j,\right) &=\sum_j b_j \operatorname{cov}(X,Y_j)\end{align}$

Dilip Sarwate

Die Antwort ist ganz einfach.

Die Korrelationsmatrix ist folgendermaßen definiert:

Lassen Sie sei die Datenmatrix: Beobachtungen, Variablen. $X = [x_1, x_2, ..., x_n]$ $m\times n$ $m$ $n$

Definiere als die Matrix normalisierter Daten, wobeiein Mittelwert für die Variable 1 ist,Mittelwert für die Variable 2 usw. ist unddie Standardabweichung für die Variable 1 usw. ist undein Vektor aller 1s ist . $X_b= [\frac{(x_1-\mu_1 e)}{s_1}, \frac{(x_2-\mu_2 e)}{s_2}, \frac{(x_3-\mu_3 e)}{s_3}, ...]$ $\mu_1$ $\mu_2$ $s_1$ $e$

Die Korrelationsmatrix ist dann

C = X_{b}^{'} X_{b}

$C=X_b' X_b$

Eine Matrix ist positiv semidefinit, wenn es keinen Vektor so dass . $A$ $z$ $z' A z <0$

Angenommen, ist nicht eindeutig positiv. Dann existiert ein Vektor w, so dass . $C$ $w' C w<0$

Jedoch wobeiund somiteine Summe von Quadraten ist und daher nicht kleiner als Null sein kann. $(w' C w)=(w' X_b' X_b w)=(X_b w)'(X_b w) = {z_1^2+z_2^2...}$ $z=X_b w$ $w' C w$

Somit ist nicht nur die Korrelationsmatrix, sondern jede Matrix , die in der Form geschrieben werden kann, positiv semidefinit. $U$ $V' V$

Gregor
quelle

Dies ist bei weitem die klarste und nützlichste Antwort. Vielen Dank !

Yohan Obadia

(Mögliche Ungenauigkeit in der Argumentation wäre meine. Ich bin kein Mathematiker: Dies ist eine Darstellung, kein Beweis und stammt aus meinen numerischen Experimenten, nicht aus Büchern.)

Eine positive semidefinite (psd) Matrix, auch Gramian Matrix genannt, ist eine Matrix ohne negative Eigenwerte. Matrix mit negativen Eigenwerten ist nicht positiv semidefinit oder nicht grammisch. Beide können eindeutig (keine Null-Eigenwerte) oder singulär (mit mindestens einem Null-Eigenwert) sein. [Das Wort "Gramian" wird in der Mathematik in verschiedenen Bedeutungen verwendet, sollte also vielleicht vermieden werden.]
In der Statistik wenden wir diese Begriffe normalerweise auf eine Matrix vom Typ SSCP an, die auch Skalarproduktmatrix genannt wird. Korrelations- oder Kovarianzmatrizen sind besondere Fälle einer solchen Matrix .
$n$ $p$ $p$ $p$ $n$ $n$ Kovarianzmatrix zwischen den Fällen. Wenn Sie es aus realen Daten berechnen, ist die Matrix immer Gramm. Sie können eine Nicht-Gramm-Matrix (Nicht-PSD-Matrix) erhalten, wenn (1) es sich um eine direkt gemessene Ähnlichkeitsmatrix handelt (dh nicht aus den Daten berechnet wurde) oder das Ähnlichkeitsmaß kein SSCP-Typ ist; (2) die Matrixwerte wurden falsch eingegeben; (3) Die Matrix ist in der Tat gramisch, ist aber (oder fast) singulär, so dass die spektrale Methode zur Berechnung von Eigenwerten manchmal winzige negative Einsen anstelle von echten Nullen oder winzigen positiven Einsen erzeugt.
$d_{12}^2 = h_1^2+h_2^2-2s_{12}$ $s$ $h$ $X$ $Y$ $d_{xy}^2 = \sigma_x^2+\sigma_y^2-2cov_{xy}$
$m$ $m$
$m$ $m$ $m$
Was sind mögliche Ursachen oder Versionen einer nicht-gramischen (nicht-euklidischen) Konfiguration? Die Antworten folgen auf die Betrachtung [Punkt 4].
- $m$ $m$ $d$
- $h$ $d$ $d$ $h$ $h$
- $d$ $h$ $h_1+h_2 \ge d_{12} \ge |h_1-h_2|$
$|cov_{ij}| \gt \sigma_i \sigma_j$

Abb1.

Fig1

Abb2.

Abb2

Abb. 3.

Abb. 3

ttnphns
quelle

Punkt 6 muss demonstriert werden: Sie haben gezeigt, dass eine Matrix aus quadratischen euklidischen Abständen pd ist, aber Sie behaupten, ohne zu beweisen, dass zu jeder pd-Matrix eine euklidische Punktekonfiguration gehört. Außerdem haben Sie Ihre Definition von pd ("keine negativen Eigenwerte") mit keiner Ihrer nachfolgenden Charakterisierungen in Verbindung gebracht. Die Schlüsselidee kommt am Ende (Punkt 8): Eine pd-Matrix kann verwendet werden, um einen Abstand zu definieren. Logischerweise sollten Sie hier mit der Analyse beginnen .

Whuber

@whuber: Danke für die kritische Bewertung. Ich fürchte, wenn es darum geht, etwas mathematisch zu beweisen , versinke ich. Ich habe über einen Teil meiner praktischen Erfahrung berichtet (das habe ich gesagt); Die Antwort war nicht wirklich eine analytische Sequenz. Möchten Sie dann nicht Ihre eigene Antwort hinzufügen, die meine korrigieren / verbessern kann? Es könnte sich als wertvolle Hilfe herausstellen. Es steht Ihnen aber auch frei, an meinem Text zu arbeiten, um ihn zu verbessern, wenn Sie ihn nicht für ausgesprochen zwecklos halten.

TTNPHNS

PS Mein Punkt 8 impliziert, dass, da die doppelte Zentrierung eine Konfiguration von Punkten an seinem Schwerpunkt verankert, diese Operation selbst keine Nichteuklidität einführt (sie erzeugt nur Singularität, weil der neue Punkt, Zentrum, zum selben Raum gehört). Von dort aus können wir überprüfen, ob die ursprüngliche Konfiguration euklidisch war. Stimmt das nicht

ttnphns