Bedeutet Kovarianz gleich Null Unabhängigkeit für binäre Zufallsvariablen?

14

Wenn und zwei Zufallsvariablen sind, die nur zwei mögliche Zustände annehmen können, wie kann ich dann zeigen, dass Unabhängigkeit impliziert? Diese Art von geht gegen das, was ich damals gelernt habe, dass keine Unabhängigkeit bedeutet ...X XY YC o v ( X , Y ) = 0 Cov(X,Y)=0C o v ( X , Y ) = 0Cov(X,Y)=0

Der Hinweis besagt, mit und als möglichen Zuständen zu beginnen und von dort aus zu verallgemeinern. Und ich kann das tun und , aber das impliziert nicht Unabhängigkeit ???1 10 0E ( X Y ) = E ( X ) E ( Y )E(XY)=E(X)E(Y)

Irgendwie verwirrt, wie man das mathematisch macht, denke ich.

user3604869
quelle
Es ist im Allgemeinen nicht wahr, wie die Überschrift Ihrer Frage nahelegt.
Michael R. Chernick
5
Die Aussage, die Sie zu beweisen versuchen, ist in der Tat wahr. Wenn und Bernoulli-Zufallsvariablen mit den Parametern und sind, dann ist und . Also ist nur dann gleich , wenn gleich zeigt , daß und sind unabhängige Ereignisse . Es ist ein Standardergebnis, dass, wenn A und B ein Paar unabhängiger Ereignisse sind, dies auch für A, B ^ c giltX XY Yp 1 p1p 2p2 E [ X ] = p 1E[X]=p1 E [ Y ] = p 2E[Y]=p2 cov ( X , Y ) = E [ X Y ] - E [ X ] E [ Y ] cov(X,Y)=E[XY]E[X]E[Y]0 0E [ X Y ] = P { X = 1 , Y = 1 } E[XY]=P{X=1,Y=1}p 1 p2 = P { X = 1 } P { Y = 1 } p1p2=P{X=1}P{Y=1}{ X = 1 } {X=1}{ Y = 1 }{Y=1} A AB BA , B cA,Bc, und und unabhängige Ereignisse, dh und sind unabhängige Zufallsvariablen. Nun verallgemeinern. A c , B Ac,BA c , B cAc,Bc X XYY
Dilip Sarwate

Antworten:

23

Bei binären Variablen entspricht ihr Erwartungswert der Wahrscheinlichkeit, dass sie gleich eins sind. Deshalb,

E ( X Y ) = P ( X Y = 1 ) = P ( X = 1 Y = 1 )E(X)=P(X=1)E(Y)=P(Y=1)

E(XY)=P(XY=1)=P(X=1Y=1)E(X)=P(X=1)E(Y)=P(Y=1)

Wenn die beiden keine Kovarianz haben, bedeutet dies , was bedeutetE(XY)=E(X)E(Y)E(XY)=E(X)E(Y)

P(X=1Y=1)=P(X=1)P(Y=1)

P(X=1Y=1)=P(X=1)P(Y=1)

Es ist trivial zu sehen, dass sich auch alle anderen gemeinsamen Wahrscheinlichkeiten unter Verwendung der Grundregeln für unabhängige Ereignisse multiplizieren (dh wenn und unabhängig sind, dann sind ihre Komplemente unabhängig usw.), was bedeutet, dass die gemeinsame Massenfunktion faktorisiert wird, was die Definition ist von zwei Zufallsvariablen unabhängig sein.AABB

Gammer
quelle
2
Prägnant und elegant. Nobel! +1 = D
Marcelo Ventura
9

Sowohl die Korrelation als auch die Kovarianz messen die lineare Assoziation zwischen zwei gegebenen Variablen und es besteht keine Verpflichtung, irgendeine andere Form der Assoziation zu erkennen.

Diese beiden Variablen können also auf verschiedene andere nichtlineare Arten verknüpft sein, und die Kovarianz (und daher die Korrelation) kann nicht vom unabhängigen Fall unterschieden werden.

Als sehr didaktischen, künstlichen und nicht realistisch Beispiel kann man prüfen , XX , so dass P ( X = x ) = 1 / 3P(X=x)=1/3 für x = - 1 , 0 , 1x=1,0,1 und auch prüfen , Y = X 2Y=X2 . Beachten Sie, dass sie nicht nur verknüpft sind, sondern eine Funktion der anderen. Ihre Kovarianz ist jedoch 0, da ihre Assoziation orthogonal zu der Assoziation ist, die die Kovarianz erkennen kann.

BEARBEITEN

In der Tat war die obige ursprüngliche Antwort, wie von @whuber angegeben, tatsächlich eine Bemerkung darüber, dass die Behauptung nicht universell wahr ist, wenn beide Variablen nicht notwendigerweise dichotom wären. Mein Fehler!

Also lass uns rechnen. (Das örtliche Äquivalent zu Barney Stinsons "Suit up!")

Spezieller Fall

Sind sowohl XX und YY dichotomous waren, dann kann man davon ausgehen, ohne Beschränkung der Allgemeinheit, dass beide übernehmen nur die Werte 00 und 11 mit beliebigen Wahrscheinlichkeiten pp , qq und rr gegeben durch P ( X = 1 ) = p [ 0 , 1 ] P ( Y = 1 ) = q [ 0 , 1 ] P ( X = 1 , Y= 1 ) = r [ 0 , 1 ] ,

P(X=1)=p[0,1]P(Y=1)=q[0,1]P(X=1,Y=1)=r[0,1],
die die gemeinsame Verteilung vonXXundYvollständig charakterisierenY. Beachten Sie, dass diese drei Werte ausreichen, um die gemeinsame Verteilung von(X,Y)zu bestimmen(X,Y), da P ( X = 0 , Y = 1 )= P ( Y = 1 ) - P ( X = 1 , Y = 1 ) = q - r P ( X = 1 , Y = 0 )= P ( X = 1 ) - P ( X = 1 , Y = 1 ) = p - r P ( X = 0 , Y = 0 )= 1 - P ( X = 0 , Y = 1 ) - P ( X = 1 , Y = 0 ) - P ( X = 1 , Y = 1 )= 1 - ( q - r ) - ( p - r ) - r = 1 - p - q - r . (Nebenbei bemerkt mussrnatürlichsowohlp-r[0,1],q-r[0,1]als auch1-p-q-r[
P(X=0,Y=1)P(X=1,Y=0)P(X=0,Y=0)=P(Y=1)P(X=1,Y=1)=qr=P(X=1)P(X=1,Y=1)=pr=1P(X=0,Y=1)P(X=1,Y=0)P(X=1,Y=1)=1(qr)(pr)r=1pqr.
rpr[0,1]qr[0,1]0,1]1pqr[0,1] beyond r[0,1]r[0,1], which is to say r[0,min(p,q,1pq)]r[0,min(p,q,1pq)].)

Notice that r=P(X=1,Y=1)r=P(X=1,Y=1) might be equal to the product pq=P(X=1)P(Y=1)pq=P(X=1)P(Y=1), which would render XX and YY independent, since P(X=0,Y=0)=1pqpq=(1p)(1q)=P(X=0)P(Y=0)P(X=1,Y=0)=ppq=p(1q)=P(X=1)P(Y=0)P(X=0,Y=1)=qpq=(1p)q=P(X=0)P(Y=1).

P(X=0,Y=0)P(X=1,Y=0)P(X=0,Y=1)=1pqpq=(1p)(1q)=P(X=0)P(Y=0)=ppq=p(1q)=P(X=1)P(Y=0)=qpq=(1p)q=P(X=0)P(Y=1).

Yes, rr might be equal to pqpq, BUT it can be different, as long as it respects the boundaries above.

Well, from the above joint distribution, we would have E(X)=0P(X=0)+1P(X=1)=P(X=1)=pE(Y)=0P(Y=0)+1P(Y=1)=P(Y=1)=qE(XY)=0P(XY=0)+1P(XY=1)=P(XY=1)=P(X=1,Y=1)=rCov(X,Y)=E(XY)E(X)E(Y)=rpq

E(X)E(Y)E(XY)Cov(X,Y)=0P(X=0)+1P(X=1)=P(X=1)=p=0P(Y=0)+1P(Y=1)=P(Y=1)=q=0P(XY=0)+1P(XY=1)=P(XY=1)=P(X=1,Y=1)=r=E(XY)E(X)E(Y)=rpq

Now, notice then that XX and YY are independent if and only if Cov(X,Y)=0Cov(X,Y)=0. Indeed, if XX and YY are independent, then P(X=1,Y=1)=P(X=1)P(Y=1)P(X=1,Y=1)=P(X=1)P(Y=1), which is to say r=pqr=pq. Therefore, Cov(X,Y)=rpq=0Cov(X,Y)=rpq=0; and, on the other hand, if Cov(X,Y)=0Cov(X,Y)=0, then rpq=0rpq=0, which is to say r=pqr=pq. Therefore, XX and YY are independent.

General Case

About the without loss of generality clause above, if XX and YY were distributed otherwise, let's say, for a<ba<b and c<dc<d, P(X=b)=pP(Y=d)=qP(X=b,Y=d)=r

P(X=b)=pP(Y=d)=qP(X=b,Y=d)=r
then XX and YY given by X=XabaandY=Ycdc
X=XabaandY=Ycdc
would be distributed just as characterized above, since X=aX=0,X=bX=1,Y=cY=0andY=dY=1.
X=aX=0,X=bX=1,Y=cY=0andY=dY=1.
So XX and YY are independent if and only if XX and Y are independent.

Also, we would have E(X)=E(Xaba)=E(X)abaE(Y)=E(Ycdc)=E(Y)cdcE(XY)=E(XabaYcdc)=E[(Xa)(Yc)](ba)(dc)=E(XYXcaY+ac)(ba)(dc)=E(XY)cE(X)aE(Y)+ac(ba)(dc)Cov(X,Y)=E(XY)E(X)E(Y)=E(XY)cE(X)aE(Y)+ac(ba)(dc)E(X)abaE(Y)cdc=[E(XY)cE(X)aE(Y)+ac][E(X)a][E(Y)c](ba)(dc)=[E(XY)cE(X)aE(Y)+ac][E(X)E(Y)cE(X)aE(Y)+ac](ba)(dc)=E(XY)E(X)E(Y)(ba)(dc)=1(ba)(dc)Cov(X,Y).

So Cov(X,Y)=0 if and only Cov(X,Y)=0.

=D

Marcelo Ventura
quelle
1
I recycled that answer from this post.
Marcelo Ventura
Verbatim cut and paste from your other post. Love it. +1
gammer
2
The problem with copy-and-paste is that your answer no longer seems to address the question: it is merely a comment on the question. It would be better, then, to post a comment with a link to your other answer.
whuber
2
How is thus an answer to the question asked?
Dilip Sarwate
1
Your edits still don't answer the question, at least not at the level the question is asked. You write "Notice that r  not necessarily equal to the product pq. That exceptional situation corresponds to the case of independence between X and Y." which is a perfectly true statement but only for the cognoscenti because for the hoi polloi, independence requires not just that P(X=1,Y=1)=P(X=1)P(Y=1)
but also P(X=u,Y=v)=P(X=u)P(Y=v), u.v{0,1}.
Yes, (1)(2) as the cognoscenti know; for lesser mortals, a proof that (1)(2) is helpful.
Dilip Sarwate
3

IN GENERAL:

The criterion for independence is F(x,y)=FX(x)FY(y). Or fX,Y(x,y)=fX(x)fY(y)

"If two variables are independent, their covariance is 0. But, having a covariance of 0 does not imply the variables are independent."

This is nicely explained by Macro here, and in the Wikipedia entry for independence.

independencezero cov, yet

zero covindependence.

Great example: XN(0,1), and Y=X2. Covariance is zero (and E(XY)=0, which is the criterion for orthogonality), yet they are dependent. Credit goes to this post.


IN PARTICULAR (OP problem):

These are Bernoulli rv's, X and Y with probability of success Pr(X=1), and Pr(Y=1).

cov(X,Y)=E[XY]E[X]E[Y]=Pr(X=1Y=1)Pr(X=1)Pr(Y=1)Pr(X=1,Y=1)=Pr(X=1)Pr(Y=1).

This is equivalent to the condition for independence in Eq. (1).


():

E[XY]=domain X, YPr(X=xY=y)xy=0 iff x×y0Pr(X=1Y=1).

(): by LOTUS.


As pointed out below, the argument is incomplete without what Dilip Sarwate had pointed out in his comments shortly after the OP appeared. After searching around, I found this proof of the missing part here:

If events A and B are independent, then events Ac and B are independent, and events Ac and Bc are also independent.

Proof By definition,

A and B are independent P(AB)=P(A)P(B).

But B=(AB)+(AcB), so P(B)=P(AB)+P(AcB), which yields:

P(AcB)=P(B)P(AB)=P(B)P(A)P(B)=P(B)[1P(A)]=P(B)P(Ac).

Repeat the argument for the events Ac and Bc, this time starting from the statement that Ac and B are independent and taking the complement of B.

Similarly. A and Bc are independent events.

So, we have shown already that Pr(X=1,Y=1)=Pr(X=1)Pr(Y=1)

and the above shows that this implies that Pr(X=i,Y=j)=Pr(X=i)Pr(Y=j),  i,j{0,1}
that is, the joint pmf factors into the product of marginal pmfs everywhere, not just at (1,1). Hence, uncorrelated Bernoulli random variables X and Y are also independent random variables.
Antoni Parellada
quelle
2
Actually that's not an equivalent condition to Eq (1). All you showed was that fX,Y(1,1)=fX(1)fY(1)
gammer
Please consider replacing that image with your own equations, preferably ones that don't use overbars to denote complements. The overbars in the image are very hard to see.
Dilip Sarwate
@DilipSarwate No problem. Is it better, now?
Antoni Parellada
1
Thanks. Also, note that strictly speaking, you also need to show that A and Bc are independent events since the factorization of the joint pdf into the product of the marginal pmts must hold at all four points. Perhaps adding the sentence "Similarly. A and Bc are independent events" right after the proof that Ac and B are independent events will work.
Dilip Sarwate
@DilipSarwate Thank you very much for your help getting it right. The proof as it was before all the editing seemed self-explanatory, because of all the inherent symmetry, but it clearly couldn't be taken for granted. I am very appreciative of your assistance.
Antoni Parellada