Warum liefert die Inversion einer Kovarianzmatrix teilweise Korrelationen zwischen Zufallsvariablen?

32

Ich habe gehört, dass partielle Korrelationen zwischen Zufallsvariablen gefunden werden können, indem die Kovarianzmatrix invertiert und entsprechende Zellen aus dieser resultierenden Präzisionsmatrix entnommen werden (diese Tatsache wird in http://en.wikipedia.org/wiki/Partial_correlation erwähnt , aber ohne Beweis). .

Warum ist das so?

michal
quelle
1
Wenn Sie eine partielle Korrelation in einer Zelle erhalten möchten, die für alle anderen Variablen gesteuert wird, kann der letzte Absatz hier Aufschluss geben.
TTNPHNS

Antworten:

34

Wenn eine multivariate Zufallsvariable (X1,X2,,Xn) eine nicht entartete Kovarianzmatrix C=(γij)=(Cov(Xi,Xj)) , ist die Menge aller reellen linearen Kombinationen von Xi bildet einen n dimensionalen reellen Vektorraum mit der Basis E=(X1,X2,,Xn) und ein nicht entartetes inneres Produkt gegeben durch

Xi,Xj=γij .

Seine doppelte Basis in Bezug auf dieses innere Produkt , E=(X1,X2,,Xn) , ist eindeutig durch die Beziehungen definiert

Xi,Xj=δij ,

das Kronecker-Delta (gleich wenn i = j und sonst 0 ).1i=j0

Die duale Basis ist hier von Interesse, weil die partielle Korrelation von und X j als die Korrelation zwischen dem Teil von X i erhalten wird, der übrig bleibt, nachdem er in den von allen anderen Vektoren aufgespannten Raum projiziert wurde (nennen wir es einfach seine " Residuum ", X i ) und der vergleichbare Teil von X j , sein Residuum X j . Dennoch ist X i ein Vektor, der zu allen Vektoren außer X i orthogonal ist und ein positives inneres Produkt mit X i hat, aus dem X i stammtXiXjXiXiXjXjXiXiXi muss ein nicht negatives Vielfaches von X i sein , ebenso für X j . Lassen Sie uns deshalb schreibenXiXiXj

Xi=λiXi, Xj=λjXj

für positive reelle Zahlen und λ j .λiλj

Die partielle Korrelation ist das normalisierte Punktprodukt der Residuen, das durch Neuskalierung unverändert bleibt:

ρij=Xi,XjXi,XiXj,Xj=λiλjXi,Xjλi2Xi,Xiλj2Xj,Xj=Xi,XjXi,XiXj,Xj .

(In beiden Fällen ist die partielle Korrelation immer dann Null, wenn die Residuen orthogonal sind, unabhängig davon, ob sie nicht Null sind oder nicht.)

Wir müssen die inneren Produkte der dualen Basiselemente finden. Erweitern Sie zu diesem Zweck die dualen Basiselemente in Bezug auf die ursprüngliche Basis :E

Xi=j=1nβijXj .

Dann per definitionem

δik=Xi,Xk=j=1nβijXj,Xk=j=1nβijγjk .

In matrix notation with I=(δij) the identity matrix and B=(βij) the change-of-basis matrix, this states

I=BC .

Das heißt, , genau das, was der Wikipedia - Artikel behauptet. Die vorige Formel für die Teilkorrelation gibtB=C1

ρij=βijβiiβjj=Cij1Cii1Cjj1 .
whuber
quelle
3
+1, great answer. But why do you call this dual basis "dual basis with respect to this inner product" -- what does "with respect to this inner product" exactly mean? It seems that you use the term "dual basis" as defined here mathworld.wolfram.com/DualVectorSpace.html in the second paragraph ("Given a vector space basis v1,...,vn for V there exists a dual basis...") or here en.wikipedia.org/wiki/Dual_basis, and it's independent of any scalar product.
amoeba says Reinstate Monica
3
@amoeba There are two kinds of duals. The (natural) dual of any vector space V over a field R is the set of linear functions ϕ:VR, called V. There is no canonical way to identify V with V, even though they have the same dimension when V is finite-dimensional. Any inner product γ corresponds to such a map g:VV, and vice versa, via
g(v)(w)=γ(v,w).
(Nondegeneracy of γ ensures g is a vector space isomorphism.) This gives a way to view elements of V as if they were elements of the dual V--but it depends on γ.
whuber
3
@mpettis Those dots were hard to notice. I have replaced them with small open circles to make the notation easier to read. Thanks for pointing this out.
whuber
4
@Andy Ron Christensen's Plane Answers to Complex Questions might be the sort of thing you are looking for. Unfortunately, his approach makes (IMHO) undue reliance on coordinate arguments and calculations. In the original introduction (see p. xiii), Christensen explains that's for pedagogical reasons.
whuber
3
@whuber, Your proof is awesome. I wonder whether any book or article contains such a proof so that I can cite.
Harry
12

Here is a proof with just matrix calculations.

I appreciate the answer by whuber. It is very insightful on the math behind the scene. However, it is still not so trivial how to use his answer to obtain the minus sign in the formula stated in the wikipediaPartial_correlation#Using_matrix_inversion.

ρXiXjV{Xi,Xj}=pijpiipjj

To get this minus sign, here is a different proof I found in "Graphical Models Lauriten 1995 Page 130". It is simply done by some matrix calculations.

The key is the following matrix identity:

(ABCD)1=(E1E1GFE1D1+FE1G)
where E=ABD1C, F=D1C and G=BD1.

Write down the covariance matrix as

Ω=(Ω11Ω12Ω21Ω22)
where Ω11 is covariance matrix of (Xi,Xj) and Ω22 is covariance matrix of V{Xi,Xj}.

Let P=Ω1. Similarly, write down P as

P=(P11P12P21P22)

By the key matrix identity,

P111=Ω11Ω12Ω221Ω21

We also know that Ω11Ω12Ω221Ω21 is the covariance matrix of (Xi,Xj)|V{Xi,Xj} (from Multivariate_normal_distribution#Conditional_distributions). The partial correlation is therefore

ρXiXjV{Xi,Xj}=[P111]12[P111]11[P111]22.
I use the notation that the (k,l)th entry of the matrix M is denoted by [M]kl.

Just simple inversion formula of 2-by-2 matrix,

([P111]11[P111]12[P111]21[P111]22)=P111=1detP11([P11]22[P11]12[P11]21[P11]11)

Therefore,

ρXiXjV{Xi,Xj}=[P111]12[P111]11[P111]22=1detP11[P11]121detP11[P11]221detP11[P11]11=[P11]12[P11]22[P11]11
which is exactly what the Wikipedia article is asserting.
Po C.
quelle
If we let i=j, then rho_ii V\{X_i, X_i} = -1, How do we interpret those diagonal elements in the precision matrix?
Jason
Good point. The formula should be only valid for i=/=j. From the proof, the minus sign comes from the 2-by-2 matrix inversion. It would not happen if i=j.
Po C.
So the diagonal numbers can't be associated with partial correlation. What do they represent? They are not just inverses of the variances, are they?
Jason
This formula is valid for i=/=j. It is meaningless for i=j.
Po C.
4

Note that the sign of the answer actually depends on how you define partial correlation. There is a difference between regressing Xi and Xj on the other n1 variables separately vs. regressing Xi and Xj on the other n2 variables together. Under the second definition, let the correlation between residuals ϵi and ϵj be ρ. Then the partial correlation of the two (regressing ϵi on ϵj and vice versa) is ρ.

This explains the confusion in the comments above, as well as on Wikipedia. The second definition is used universally from what I can tell, so there should be a negative sign.

I originally posted an edit to the other answer, but made a mistake - sorry about that!

Johnny Ho
quelle