Was sagt die Inverse der Kovarianzmatrix über Daten aus? (Intuitiv)

Ich bin neugierig auf die Natur von . Kann jemand etwas intuitives über "Was sagt über Daten?" $\Sigma^{-1}$ $\Sigma^{-1}$

Bearbeiten:

Danke für die Antworten

Nach einigen großartigen Kursen möchte ich einige Punkte hinzufügen:

Es ist ein Maß für Information, dh ist eine Informationsmenge entlang der Richtung . $x^T\Sigma^{-1}x$ $x$
Dualität: Da positiv definit ist, gilt auch für , dass es sich um Skalarproduktnormen handelt, genauer gesagt um Doppelnormen, sodass wir Fenchel dual für das regulierte Problem der kleinsten Quadrate ableiten und die Maximierung für dual durchführen können Problem. Wir können eine von ihnen wählen, abhängig von ihrer Konditionierung. $\Sigma$ $\Sigma^{-1}$
Hilbert-Raum: Spalten (und Reihen) von und erstrecken sich über den gleichen Raum. Es gibt also keinen Vorteil (außer wenn eine dieser Matrizen schlecht konditioniert ist) zwischen der Darstellung mit oder $\Sigma^{-1}$ $\Sigma$ $\Sigma^{-1}$ $\Sigma$
$\Sigma^{-1}$ $\|\Sigma^{-1}\|\rightarrow 0$
Frequentistische Statistik: Sie ist eng mit Fisher-Informationen verbunden, die die Cramér-Rao-Bindung verwenden. Tatsächlich ist die Fisher-Informationsmatrix (äußeres Produkt des Gradienten der logarithmischen Wahrscheinlichkeit mit sich selbst) Cramér-Rao-gebunden, dh (bezüglich positiver semidefiniter Kegel, iewrt Konzentration) Ellipsoide). Wenn also der Maximum-Likelihood-Schätzer effizient, dh die Daten enthalten ein Maximum an Informationen, sodass ein häufig auftretendes Regime optimal ist. In einfacheren Worten, für einige Wahrscheinlichkeitsfunktionen (man beachte, dass die funktionale Form der Wahrscheinlichkeit nur von dem wahrscheinlichen Modell abhängt, das angeblich Daten generiert, auch bekannt als generatives Modell), ist die maximale Wahrscheinlichkeit ein effizienter und konsistenter Schätzer und regiert wie ein Boss. (Entschuldigung für das Übermaß) $\Sigma^{-1}\preceq \mathcal{F}$ $\Sigma^{-1}=\mathcal{F}$

bayesian maximum-likelihood covariance matrix Arya
quelle

Ich denke, PCA nimmt Eigenvektor mit großen Eigenwerten anstelle von kleinen Eigenwerten auf.

wdg

(3) Ist falsch, weil es gleichbedeutend ist, dass die Spalten von die von (bis zu einer Permutation) sind, was nur für die Identitätsmatrix gilt.

Σ^{- 1}

$\Sigma^{-1}$

Σ

$\Sigma$

whuber

Antworten:

Es ist ein Maß für die Präzision, genau wie ein Maß für die Streuung ist. $\Sigma$

Genauer gesagt ist ein Maß dafür, wie die Variablen um den Mittelwert (die diagonalen Elemente) verteilt sind und wie sie mit anderen Variablen (den nicht diagonalen Elementen) zusammen variieren. Je weiter die Streuung vom Mittelwert entfernt ist und je mehr sie sich (in absoluten Zahlen) mit den anderen Variablen decken, desto stärker ist die Tendenz, sich zusammen zu bewegen (in der gleichen oder entgegengesetzten Richtung, je nachdem, in welcher Richtung sie sich bewegen) Zeichen der Kovarianz). $\Sigma$

In ähnlicher Weise ist ein Maß dafür, wie eng die Variablen um den Mittelwert (die diagonalen Elemente) gruppiert sind und inwieweit sie nicht mit den anderen Variablen (den nicht diagonalen Elementen) übereinstimmen. Je höher das diagonale Element ist, desto dichter ist die Variable um den Mittelwert gruppiert. Die Interpretation der nicht diagonalen Elemente ist subtiler, und ich verweise auf die anderen Antworten für diese Interpretation. $\Sigma^{-1}$

Stütze
quelle

Ein starkes Gegenbeispiel zu Ihrer letzten Aussage über nicht diagonale Elemente in bietet das einfachste nichttriviale Beispiel in zwei Dimensionen: Die größeren off-diagonal Werte entsprechen mehr Extremwerte des Korrelationskoeffizienten das ist das Gegenteil von dem, was Sie sagen , zu sein scheinen.

Σ^{- 1}

$\Sigma^{-1}$

Σ^{- 1} = (\begin{array}{cc} \frac{1}{1 - ρ^{2}} & - \frac{ρ}{1 - ρ^{2}} \\ - \frac{ρ}{1 - ρ^{2}} & \frac{1}{1 - ρ^{2}} \end{array}) .

$\Sigma^{-1}=\left( \begin{array}{cc} \frac{1}{1-\rho ^2} & -\frac{\rho }{1-\rho ^2} \\ -\frac{\rho }{1-\rho ^2} & \frac{1}{1-\rho ^2} \\ \end{array} \right).$

ρ,

$\rho,$

Whuber

@whuber Richtig. Ich sollte das "absolute" Wort im letzten Satz loswerden. Danke

Stütze

Danke, aber das heilt das Problem immer noch nicht: Die Beziehung, die Sie zwischen den nicht diagonalen Elementen des Inversen und der Co-Variation behaupten, existiert nicht.

Whuber

@whuber ich denke es tut. In Ihrem Beispiel sind die nicht diagonalen Elemente negativ. Daher nehmen die außerdiagonalen Elemente mit zunehmender ab. Sie können dies überprüfen, indem Sie Folgendes beachten: Bei das nicht diagonale Element ; wenn sich nähert, nähern sich die nicht-diagonalen Elemente und die Ableitung des nicht-diagonalen Elements in Bezug auf ist negativ.

ρ

$\rho$

ρ = 0

$\rho = 0$

0

$0$

ρ

$\rho$

1

$1$

- \infty

$-\infty$

ρ

$\rho$

Prop

Meine nicht diagonalen Elemente sind positiv, wenn

ρ < 0.

$\rho\lt 0.$

whuber

Verwendung von hochgestellten Indizes der Elemente der invers zu bezeichnen, ist die Varianz der Komponente der Variable , die mit den unkorrelierten sind anderen Variablen, und ist die partielle Korrelation der Variablen und , die die anderen Variablen steuert . $1/\sigma^{ii}$ $i$ $p-1$ $-\sigma^{ij}/\sqrt{\sigma^{ii}\sigma^{jj}}$ $i$ $j$ $p-2$

Ray Koopman
quelle