Wie interpretiere ich eine inverse Kovarianz- oder Präzisionsmatrix?

Ich habe mich gefragt, ob mich jemand auf einige Referenzen hinweisen könnte, die die Interpretation der Elemente der inversen Kovarianzmatrix, auch als Konzentrationsmatrix oder Präzisionsmatrix bekannt, diskutieren.

Ich habe Zugang zu Cox und Wermuths multivariaten Abhängigkeiten , aber was ich suche, ist eine Interpretation jedes Elements in der inversen Matrix. Wikipedia sagt : "Die Elemente der Präzisionsmatrix haben eine Interpretation in Bezug auf Teilkorrelationen und Teilvarianzen", was mich zu dieser Seite führt. Gibt es eine Interpretation ohne lineare Regression? IE, in Bezug auf Kovarianzen oder Geometrie?

Grundsätzlich sind zwei Dinge zu sagen. Der erste ist, dass die Dichte für die multivariate Normalverteilung (hier mit dem Mittelwert 0) proportional zu wobeiP=Σ-1die Inverse der Kovarianzmatrix ist, auch Präzision genannt. Diese Matrix ist positiv definit und definiert über (x,y)↦xTPy eininneres ProduktaufRp. Die resultierende Geometrie, die dem Konzept der Orthogonalität eine spezifische Bedeutung verleiht und eine Norm in Bezug auf die Normalverteilung definiert, ist wichtig, und um beispielsweise den geometrischen Inhalt vonLDAzu verstehen,müssen Sie die Dinge im Lichte der angegebenen Geometrie betrachten durch

Zum anderen können die Teilkorrelationen direkt aus abgelesen werden , siehe hier . Dieselbe Wikipedia-Seite gibt an, dass die Teilkorrelationen und damit die Einträge von P eine geometrische Interpretation in Bezug auf den Kosinus zu einem Winkel haben. Was im Zusammenhang mit Teilkorrelationen vielleicht wichtiger ist, ist, dass die Teilkorrelation zwischen X i und X j nur dann 0 ist, wenn der Eintrag i , j in P Null ist. Für die Normalverteilung sind die Variablen X i und X j dann bedingt unabhängig$P$$P$$X_i$$X_j$$i,j$$P$$X_i$$X_j$alle anderen Variablen gegeben. Darum geht es in Steffens Buch, auf das ich im obigen Kommentar hingewiesen habe. Bedingte Unabhängigkeit und grafische Modelle. Es hat eine ziemlich vollständige Behandlung der Normalverteilung, aber es kann nicht so einfach sein, zu folgen.

Ich mag dieses probabilistische grafische Modell, um den Punkt von NRH zu veranschaulichen, dass die partielle Korrelation nur dann Null ist, wenn X von Y bei Z bedingt unabhängig ist, mit der Annahme, dass alle beteiligten Variablen multivariate Gauß-Variablen sind (die Eigenschaft gilt im allgemeinen Fall nicht). :

$y_i$

Quelle: David MacKays Vortrag über Gaußsche Prozessgrundlagen , 25. Minute.

Die auf Teilkorrelationen basierende Interpretation ist wahrscheinlich die statistisch sinnvollste, da sie für alle multivariaten Verteilungen gilt. In dem Spezialfall der multivariaten Normalverteilung entspricht eine partielle Korrelation von Null einer bedingten Unabhängigkeit.

Sie können diese Interpretation ableiten, indem Sie das Schur-Komplement verwenden, um eine Formel für die Einträge der Konzentrationsmatrix in Bezug auf die Einträge der Kovarianzmatrix zu erhalten. Siehe http://en.wikipedia.org/wiki/Schur_complement#Applications_to_probability_theory_and_statistics

Die Kovarianzmatrix kann die Beziehung zwischen allen Variablen darstellen, während die inverse Kovarianz die Beziehung des Elements zu ihren Nachbarn beschreibt (wie in Wikipedia als partielle / paarweise Beziehung bezeichnet).

Ich leihe mir das folgende Beispiel von hier in 24:10, vorstellen 5 Massen miteinander verbunden sind und vowelling um mit 6 Federn Kovarianzmatrix Korrelation aller Massen enthalten würde, wenn man rechts geht, andere können auch rechts geht. Die inverse Kovarianzmatrix zeigt jedoch das Verhältnis der Massen, die durch dieselbe Feder (Nachbarn) verbunden sind, und enthält viele Nullen und ist nicht unbedingt positiv.

Bar-Shalom und Fortmann (1988) erwähnen die inverse Kovarianz im Zusammenhang mit der Kalman-Filterung wie folgt:

... [T] hier ist eine Rekursion für die inverse Kovarianz (oder Informationsmatrix )

$\mathbf{P}^{-1}(k+1|k+1) = \mathbf{P}^{-1}(k+1|k) + \mathbf{H}'(k+1) \mathbf{R}^{-1}(k+1)\mathbf{H}(k+1)$

$\mathbf{P}^{-1}\hat{\mathbf{x}}$

Das Buch ist bei Google indiziert .