Ich habe gehört, dass partielle Korrelationen zwischen Zufallsvariablen gefunden werden können, indem die Kovarianzmatrix invertiert und entsprechende Zellen aus dieser resultierenden Präzisionsmatrix entnommen werden (diese Tatsache wird in http://en.wikipedia.org/wiki/Partial_correlation erwähnt , aber ohne Beweis). .
Warum ist das so?
Antworten:
Wenn eine multivariate Zufallsvariable(X1,X2,…,Xn) eine nicht entartete Kovarianzmatrix C=(γij)=(Cov(Xi,Xj)) , ist die Menge aller reellen linearen Kombinationen von Xi bildet einen n dimensionalen reellen Vektorraum mit der Basis E=(X1,X2,…,Xn) und ein nicht entartetes inneres Produkt gegeben durch
Seine doppelte Basis in Bezug auf dieses innere Produkt ,E∗=(X∗1,X∗2,…,X∗n) , ist eindeutig durch die Beziehungen definiert
das Kronecker-Delta (gleich wenn i = j und sonst 0 ).1 i=j 0
Die duale Basis ist hier von Interesse, weil die partielle Korrelation von und X j als die Korrelation zwischen dem Teil von X i erhalten wird, der übrig bleibt, nachdem er in den von allen anderen Vektoren aufgespannten Raum projiziert wurde (nennen wir es einfach seine " Residuum ", X i ∘ ) und der vergleichbare Teil von X j , sein Residuum X j ∘ . Dennoch ist X ∗ i ein Vektor, der zu allen Vektoren außer X i orthogonal ist und ein positives inneres Produkt mit X i hat, aus dem X i stammtXi Xj Xi Xi∘ Xj Xj∘ X∗i Xi Xi muss ein nicht negatives Vielfaches von X ∗ i sein , ebenso für X j . Lassen Sie uns deshalb schreibenXi∘ X∗i Xj
für positive reelle Zahlen und λ j .λi λj
Die partielle Korrelation ist das normalisierte Punktprodukt der Residuen, das durch Neuskalierung unverändert bleibt:
(In beiden Fällen ist die partielle Korrelation immer dann Null, wenn die Residuen orthogonal sind, unabhängig davon, ob sie nicht Null sind oder nicht.)
Wir müssen die inneren Produkte der dualen Basiselemente finden. Erweitern Sie zu diesem Zweck die dualen Basiselemente in Bezug auf die ursprüngliche Basis :E
Dann per definitionem
In matrix notation withI=(δij) the identity matrix and B=(βij) the change-of-basis matrix, this states
Das heißt, , genau das, was der Wikipedia - Artikel behauptet. Die vorige Formel für die Teilkorrelation gibtB=C−1
quelle
Here is a proof with just matrix calculations.
I appreciate the answer by whuber. It is very insightful on the math behind the scene. However, it is still not so trivial how to use his answer to obtain the minus sign in the formula stated in the wikipediaPartial_correlation#Using_matrix_inversion.
To get this minus sign, here is a different proof I found in "Graphical Models Lauriten 1995 Page 130". It is simply done by some matrix calculations.
The key is the following matrix identity:
Write down the covariance matrix as
LetP=Ω−1 . Similarly, write down P as
By the key matrix identity,
We also know thatΩ11−Ω12Ω−122Ω21 is the covariance matrix of (Xi,Xj)|V∖{Xi,Xj} (from Multivariate_normal_distribution#Conditional_distributions). The partial correlation is therefore
Just simple inversion formula of 2-by-2 matrix,
Therefore,
quelle
i=j
, thenrho_ii V\{X_i, X_i} = -1
, How do we interpret those diagonal elements in the precision matrix?Note that the sign of the answer actually depends on how you define partial correlation. There is a difference between regressingXi and Xj on the other n−1 variables separately vs. regressing Xi and Xj on the other n−2 variables together. Under the second definition, let the correlation between residuals ϵi and ϵj be ρ . Then the partial correlation of the two (regressing ϵi on ϵj and vice versa) is −ρ .
This explains the confusion in the comments above, as well as on Wikipedia. The second definition is used universally from what I can tell, so there should be a negative sign.
I originally posted an edit to the other answer, but made a mistake - sorry about that!
quelle