Wenn A und B mit C korreliert sind, warum sind A und B nicht unbedingt korreliert?

62

Ich weiß empirisch, dass dies der Fall ist. Ich habe gerade Modelle entwickelt, die auf dieses Rätsel stoßen. Ich vermute auch, dass es nicht unbedingt eine Ja / Nein-Antwort ist. Ich meine damit, dass, wenn sowohl A als auch B mit C korreliert sind, dies eine gewisse Auswirkung auf die Korrelation zwischen A und B haben kann. Diese Auswirkung kann jedoch schwach sein. Es kann nur eine Zeichenrichtung sein und sonst nichts.

Hier ist, was ich meine ... Nehmen wir an, A und B haben beide eine 0,5-Korrelation mit C. Angesichts dessen könnte die Korrelation zwischen A und B durchaus 1,0 sein. Ich denke, es könnte auch 0,5 oder noch niedriger sein. Aber ich denke, es ist unwahrscheinlich, dass es negativ sein würde. Sind Sie einverstanden (damit?

Gibt es auch eine Auswirkung, wenn Sie den Standard-Pearson-Korrelationskoeffizienten oder stattdessen den Spearman-Korrelationskoeffizienten (Rang) in Betracht ziehen? Meine jüngsten empirischen Beobachtungen wurden mit dem Spearman-Korrelationskoeffizienten in Verbindung gebracht.

Sympa
quelle
38
Ein Beispiel hierfür ist zu nehmen , B = Y und C = X + Y . Wir nehmen können X und Y , unabhängig zu sein, doch sowohl A und B werden korrelieren (positiv, Pearson) mit C . A=XB=YC=X+YXYABC
1
Danke, das ist eigentlich ein toller Kommentar. Kurz, aber es fängt das Wesentliche des Grundes ein, warum es so ist.
Sympa

Antworten:

53

Da Korrelation eine mathematische Eigenschaft multivariater Verteilungen ist, kann eine gewisse Einsicht nur durch Berechnungen gewonnen werden, unabhängig von der statistischen Genese dieser Verteilungen.

Für die Pearson - Korrelationen , betrachten multinormal Variablen , Y , Z . Es ist nützlich, mit diesen zu arbeiten, da jede nicht negative definite Matrix tatsächlich die Kovarianzmatrix einiger multinormaler Verteilungen ist, wodurch die Existenzfrage gelöst wird. Wenn wir uns an Matrizen mit 1 auf der Diagonale halten, sind die nicht diagonalen Einträge der Kovarianzmatrix ihre Korrelationen. Schreiben der Korrelation von X und Y als ρ , der Korrelation von Y und Z als τ und der Korrelation von X und Z alsXYZ1XYρYZτXZ , das berechnen wirσ

  • (weil dies die Determinante der Korrelationsmatrix ist und sie nicht negativ sein kann).1+2ρστ(ρ2+σ2+τ2)0

  • Wenn dies, dass ρ 2 + τ 21 ist . Um es anders auszudrücken: wenn beide ρ und τ in der Größe groß sind, X und Z muss ungleich Null Korrelation aufweisen.σ=0ρ2+τ21ρτXZ

  • Wenn , dann ist jede nicht-negativer Wert von σ (zwischen 0 und 1 natürlich) ist möglich.ρ2=τ2=1/2σ01

  • Wenn , sind negative Werte von σ zulässig. Zum Beispiel, wenn ρ = τ = 1 / 2 , σ kann irgendwo zwischen sein - 1 / 2 und 1 .ρ2+τ2<1σρ=τ=1/2σ1/21

Diese Überlegungen implizieren, dass die gegenseitigen Korrelationen tatsächlich einige Einschränkungen aufweisen. Die Beschränkungen (die nur von der nicht negativen Bestimmtheit der Korrelationsmatrix, nicht von den tatsächlichen Verteilungen der Variablen abhängen) können in Abhängigkeit von Annahmen über die univariaten Verteilungen verschärft werden. Zum Beispiel ist es leicht zu erkennen (und zu beweisen), dass die Korrelationen , wenn die Verteilungen von und Y nicht zur selben Familie der Ortsskalen gehören, streng kleiner als 1 sein müssen . (Beweis: Eine Korrelation von ± 1 impliziert, dass X und Y linear zusammenhängen als)XY1±1XY

So weit wie Spearman Rank Korrelationen gehen, betrachtet drei trivariaten Beobachtungen , ( 2 , 3 , 1 ) und ( 3 , 2 , 3 ) von ( X , Y , Z ) . Ihre gegenseitige Rangkorrelationen sind 1 / 2 , 1 / 2 , und - 1 / 2 . Damit auch das Vorzeichen der Rangkorrelation von(1,1,2)(2,3,1)(3,2,3)(X,Y,Z)1/21/21/2 und Z können die Umkehrung der Vorzeichen der Korrelationen von X und Y und X und Z sein .YZXYXZ

whuber
quelle
Was sind "multinormale Variablen"?
Sympa
Wie üblich, eine gründliche Erklärung erhalten Sie ein wohlverdientes Häkchen "Beste Antwort".
Sympa
@ Gaetan Lion Sie sind sehr nett. Ich habe es genossen, alle Antworten auf diese Frage zu lesen (und sie alle markiert).
whuber
88

Ich bin gerade auf einer jährlichen Angeltour. Es gibt eine Korrelation zwischen der Tageszeit, die ich fische, und der Menge an Fischen, die ich fange. Es gibt auch eine Korrelation zwischen der Größe des Köders und der Menge der Fische, die ich fange. Es gibt keine Korrelation zwischen der Größe des Köders und der Tageszeit.

Basilikum
quelle
Basil, ich liebe es! +1 für eine einfache englische Erklärung.
Sympa
Beste. Antworten. Auf stats.stackexchange. Ever
Chris Beeley
1
Dies beschreibt einen Fall, in dem die Korrelationen anfangs niedrig sind, erklärt jedoch nicht den Fall, in dem die Korrelationen höher sind. Wenn es eine 80% ige Korrelation mit der Tageszeit gibt und es eine 80% ige Korrelation mit der Größe des Köders gibt, kann ich garantieren, dass Sie tagsüber einen größeren Köder verwenden!
user35581
2
@ user35581 nein, du kannst nicht - du verpasst den ganzen Punkt. Jede Stunde konnte er einmal mit kleinen und einmal mit großen Ködern fischen. Er kann an bestimmten Tagen immer noch mehr Fische fangen (80% ige Korrelation) und mehr Fische mit größerem Köder fangen (80% ige Korrelation), und es besteht keine Korrelation zwischen der Größe des Köders, den er verwendet, und der Tageszeit. Es könnte sogar eine negative Korrelation sein, wenn er außerhalb der Stoßzeiten öfter größere Köder verwendet, um die schlechte Tageszeit auszugleichen. Sie wissen also wirklich nichts über den Zusammenhang zwischen Tageszeit und Ködergröße.
rysqui
2
@rysqui Entschuldigung, mein Kommentar war schlecht formuliert, aber der Punkt, den ich ansprechen wollte, war folgender: Wenn die Korrelationen zwischen Features und Ziel sehr hoch werden, müssen auch Ihre Features korreliert werden. Wenn Sie also eine perfekte Korrelation zwischen Tageszeit und Fanggröße und eine perfekte Korrelation zwischen Ködergröße und Fanggröße haben, müssen Sie auch eine perfekte Korrelation zwischen Ködergröße und Tageszeit haben, daher die endgültige Aussage "Sie verwenden tagsüber einen größeren Köder". Denken Sie daran, dass dies ein Randfall ist!
user35581
20

VA=AE(A)VB=BE(B)VAVBVCπ/2πVAVBVCVAVB

David Epstein
quelle
+1 Korrelation in Bezug auf einen Winkel zwischen mehrdimensionalen Vektoren ist für mich intuitiv.
Petrus Theron
2
Als Hinweis für zukünftige Leser möchte ich diese geometrische Antwort (mit Bildern!) In folgendem Thread erläutern
Jake Westfall
18

Als Ergänzung zu Whubers Antwort: Die vorgestellte Formel

1+2ρστ(ρ2+σ2+τ2)0

kann in folgende Ungleichung umgewandelt werden (Olkin, 1981):

στ(1σ2)(1τ2)ρστ+(1σ2)(1τ2)

ρ

Bildbeschreibung hier eingeben


Olkin, I. (1981). Bereichsbeschränkungen für Produkt-Moment-Korrelationsmatrizen. Psychometrika, 46, 469 & ndash; 472. doi: 10.1007 / BF02293804

Felix S
quelle
Kann mir jemand sagen, ob einige dieser Beispiele multivariate Verteilungen mit spezifischen Randverteilungen sind, die den Bereich möglicher Korrelationen zwischen Komponenten einschränken? Das bedeutet, dass die Korrelationen nicht den gesamten Bereich von -1 bis 1 abdecken können. Ich erinnere mich, dass Frechet in den 1950er Jahren mindestens eine Person war, die dies entwickelt hat. Wenn ich heute in der Literatur recherchiere, denke ich, dass sie jetzt Frechet-Copulas heißen.
Michael Chernick
14

Ich denke, es ist besser zu fragen, "warum sollten sie korreliert werden?" oder vielleicht "Warum sollte eine bestimmte Korrelation bestehen?"

Der folgende R-Code zeigt einen Fall, in dem x1 und x2 beide mit Y korreliert sind, aber eine Korrelation von 0 miteinander haben

x1 <- rnorm(100)
x2  <- rnorm(100)
y <- 3*x1 + 2*x2 + rnorm(100, 0, .3)

cor(x1,y)
cor(x2,y)
cor(x1,x2)

Die Korrelation mit Y kann verstärkt werden, indem .3 auf .1 oder was auch immer reduziert wird

Peter Flom - Wiedereinsetzung von Monica
quelle
Leider bin ich kein R-User. Die obigen Codes bedeuten mir also weniger als Ihnen.
Sympa
2
x1x2y=3x1+2x2yx1x2
14

Ich überlasse die statistische Demonstration denen, die dafür besser geeignet sind als ich ... aber sage intuitiv, dass Ereignis A einen Prozess X erzeugt, der zur Erzeugung von Ereignis C beiträgt. Dann wird A mit C (durch X) korreliert. B erzeugt andererseits Y, das auch C formt. Daher ist A mit C korreliert, B ist mit C korreliert, aber A und B sind nicht korreliert.

nico
quelle
1
@Nett. Ich denke, Sie meinen "A und B sind nicht korreliert" im allerletzten Teil Ihres letzten Satzes.
Suncoolsu
Ja, Nico mit Suncoolsu-Korrektur ... das ist eine einigermaßen gute Erklärung. Sie beschreiben teilweise die Pfadanalyse.
Sympa
Ja, tut mir leid, ich habe mich in die Buchstaben
vertan
1

Für diejenigen, die eine gewisse Intuition wünschen, kann eine Korrelation als ein Kosinus mit einem gewissen Winkel angesehen werden. Betrachten Sie also drei Vektoren in 3D, beispielsweise A, B und C, die jeweils einer Variablen entsprechen. Die Frage ist, den Bereich möglicher Winkel zwischen A und C zu bestimmen, wenn der Winkel zwischen A und B sowie der Winkel zwischen B und C bekannt sind. Dafür können Sie mit einem Online-Tool spielen, ohne Software zu installieren. Gehen Sie einfach auf die Seite http://www.montefiore.ulg.ac.be/~pierard/chained_correlations.php

S. Piérard
quelle
0

Nehmen wir ein Beispiel:

A={x1,x2,x3,x4,x5,x6,x7,x8,x9}

B={x1,x2,x3,0,0,0,0,0,0}

C={0,0,0,x4,x5,x6,0,0,0}

Für einige x haben A und B eine signifikante Korrelation, in ähnlicher Weise haben A und C auch eine signifikante Korrelation, aber die Korrelation von B und C ist nicht signifikant.

Es ist also nicht unbedingt wahr, dass, wenn A und B korreliert sind und A und C korreliert sind, auch B und C korreliert sind.

Hinweis: Zum besseren Verständnis denken Sie bitte an dieses Beispiel für große Datenmengen.

Abhishek Anand
quelle
BCx1x6ABCx1x9
Ich bin mit Abhishek Anand zufrieden und antworte, weil letztendlich alles bis zu einem gewissen Grad mit allem anderen korreliert. Und ich mag es, wie er es in Bezug auf statistische Signifikanz bewertet. Wenn Sie dieses Framework verwenden, ist es ziemlich offensichtlich, dass, wenn A und B statistisch signifikant mit C korreliert sind, entweder A oder B möglicherweise nicht statistisch signifikant korreliert sind (unter Verwendung des tatsächlichen Frameworks meiner ursprünglichen Frage). Ich denke, dass Vent-Diagramme eine hervorragende visuelle Erklärung für dieses Konzept liefern können.
Sympa
@whuber ich stimme dir zu. Es ist nur ein Beispiel, das erklärt, warum es nicht notwendig ist
Abhishek Anand
Das ist in Ordnung - aber Sie scheinen ein Missverständnis darüber zu haben, wie die Korrelationen zwischen diesen Vektoren aussehen. Keine der Aussagen, die Sie zu den Korrelationskoeffizienten dieser Vektoren treffen, ist im Allgemeinen korrekt.
Whuber