Bedeutet Kovarianz gleich Null Unabhängigkeit für binäre Zufallsvariablen?

Wenn und zwei Zufallsvariablen sind, die nur zwei mögliche Zustände annehmen können, wie kann ich dann zeigen, dass Unabhängigkeit impliziert? Diese Art von geht gegen das, was ich damals gelernt habe, dass keine Unabhängigkeit bedeutet ...$X$$Y$$Cov(X,Y) = 0$$Cov(X,Y) = 0$

Der Hinweis besagt, mit und als möglichen Zuständen zu beginnen und von dort aus zu verallgemeinern. Und ich kann das tun und , aber das impliziert nicht Unabhängigkeit ???$1$$0$$E(XY) = E(X)E(Y)$

Irgendwie verwirrt, wie man das mathematisch macht, denke ich.

Bei binären Variablen entspricht ihr Erwartungswert der Wahrscheinlichkeit, dass sie gleich eins sind. Deshalb,

$$E(XY) = P(XY = 1) = P(X=1 \cap Y=1) \\ E(X) = P(X=1) \\ E(Y) = P(Y=1) \\ $$

Wenn die beiden keine Kovarianz haben, bedeutet dies , was bedeutet$E(XY) = E(X)E(Y)$

$$P(X=1 \cap Y=1) = P(X=1) \cdot P(Y=1)$$

Es ist trivial zu sehen, dass sich auch alle anderen gemeinsamen Wahrscheinlichkeiten unter Verwendung der Grundregeln für unabhängige Ereignisse multiplizieren (dh wenn und unabhängig sind, dann sind ihre Komplemente unabhängig usw.), was bedeutet, dass die gemeinsame Massenfunktion faktorisiert wird, was die Definition ist von zwei Zufallsvariablen unabhängig sein.$A$$B$

Sowohl die Korrelation als auch die Kovarianz messen die lineare Assoziation zwischen zwei gegebenen Variablen und es besteht keine Verpflichtung, irgendeine andere Form der Assoziation zu erkennen.

Diese beiden Variablen können also auf verschiedene andere nichtlineare Arten verknüpft sein, und die Kovarianz (und daher die Korrelation) kann nicht vom unabhängigen Fall unterschieden werden.

Als sehr didaktischen, künstlichen und nicht realistisch Beispiel kann man prüfen , $X$ , so dass $P(X=x)=1/3$ für $x=−1,0,1$ und auch prüfen , $Y=X^2$ . Beachten Sie, dass sie nicht nur verknüpft sind, sondern eine Funktion der anderen. Ihre Kovarianz ist jedoch 0, da ihre Assoziation orthogonal zu der Assoziation ist, die die Kovarianz erkennen kann.

BEARBEITEN

In der Tat war die obige ursprüngliche Antwort, wie von @whuber angegeben, tatsächlich eine Bemerkung darüber, dass die Behauptung nicht universell wahr ist, wenn beide Variablen nicht notwendigerweise dichotom wären. Mein Fehler!

Also lass uns rechnen. (Das örtliche Äquivalent zu Barney Stinsons "Suit up!")

Spezieller Fall

Sind sowohl $X$ und $Y$ dichotomous waren, dann kann man davon ausgehen, ohne Beschränkung der Allgemeinheit, dass beide übernehmen nur die Werte $0$ und $1$ mit beliebigen Wahrscheinlichkeiten $p$ , $q$ und $r$ gegeben durch

$$\begin{align*} P(X=1) = p \in [0,1] \\ P(Y=1) = q \in [0,1] \\ P(X=1,Y=1) = r \in [0,1], \end{align*}$$ die die gemeinsame Verteilung von$X$undYvollständig charakterisieren$Y$. Beachten Sie, dass diese drei Werte ausreichen, um die gemeinsame Verteilung von(X,Y)zu bestimmen$(X,Y)$, da P ( X = 0 , Y = 1 )= P ( Y = 1 ) - P ( X = 1 , Y = 1 ) = q - r P ( X = 1 , Y = 0 )= P ( X = 1 ) - P ( X = 1 , Y = 1 ) = p - r P ( X = 0 , Y = 0 )= 1 - P ( X = 0 , Y = 1 ) - P ( X = 1 , Y = 0 ) - P ( X = 1 , Y = 1 )= 1 - ( q - r ) - ( p - r ) - r = 1 - p - q - r . (Nebenbei bemerkt mussrnatürlichsowohlp-r∈[0,1],q-r∈[0,1]als auch1-p-q-r∈ $$\begin{align*} P(X=0,Y=1) &= P(Y=1) - P(X=1,Y=1) = q - r\\ P(X=1,Y=0) &= P(X=1) - P(X=1,Y=1) = p - r\\ P(X=0,Y=0) &= 1 - P(X=0,Y=1) - P(X=1,Y=0) - P(X=1,Y=1) \\ &= 1 - (q - r) - (p - r) - r = 1 - p - q - r. \end{align*}$$ $r$$p-r\in[0,1]$$q-r\in[0,1]$$1-p-q-r\in[0,1]$ beyond $r\in[0,1]$, which is to say $r\in[0,\min(p,q,1-p-q)]$.)

Notice that $r = P(X=1,Y=1)$ might be equal to the product $p\cdot q = P(X=1) P(Y=1)$, which would render $X$ and $Y$ independent, since

$$\begin{align*} P(X=0,Y=0) &= 1 - p - q - pq = (1-p)(1-q) = P(X=0)P(Y=0)\\ P(X=1,Y=0) &= p - pq = p(1-q) = P(X=1)P(Y=0)\\ P(X=0,Y=1) &= q - pq = (1-p)q = P(X=0)P(Y=1). \end{align*}$$

Yes, $r$ might be equal to $pq$, BUT it can be different, as long as it respects the boundaries above.

Well, from the above joint distribution, we would have

$$\begin{align*} E(X) &= 0\cdot P(X=0) + 1\cdot P(X=1) = P(X=1) = p \\ E(Y) &= 0\cdot P(Y=0) + 1\cdot P(Y=1) = P(Y=1) = q \\ E(XY) &= 0\cdot P(XY=0) + 1\cdot P(XY=1) \\ &= P(XY=1) = P(X=1,Y=1) = r\\ Cov(X,Y) &= E(XY) - E(X)E(Y) = r - pq \end{align*}$$

Now, notice then that $X$ and $Y$ are independent if and only if $Cov(X,Y)=0$. Indeed, if $X$ and $Y$ are independent, then $P(X=1,Y=1)=P(X=1)P(Y=1)$, which is to say $r=pq$. Therefore, $Cov(X,Y)=r-pq=0$; and, on the other hand, if $Cov(X,Y)=0$, then $r-pq=0$, which is to say $r=pq$. Therefore, $X$ and $Y$ are independent.

General Case

About the without loss of generality clause above, if $X$ and $Y$ were distributed otherwise, let's say, for $a<b$ and $c<d$,

$$\begin{align*} P(X=b)=p \\ P(Y=d)=q \\ P(X=b, Y=d)=r \end{align*}$$ then $X'$ and $Y'$ given by $$X'=\frac{X-a}{b-a} \qquad \text{and} \qquad Y'=\frac{Y-c}{d-c}$$ would be distributed just as characterized above, since $$X=a \Leftrightarrow X'=0, \quad X=b \Leftrightarrow X'=1, \quad Y=c \Leftrightarrow Y'=0 \quad \text{and} \quad Y=d \Leftrightarrow Y'=1.$$ So $X$ and $Y$ are independent if and only if $X'$ and $Y'$ are independent.

Also, we would have

$$\begin{align*} E(X') &= E\left(\frac{X-a}{b-a}\right) = \frac{E(X)-a}{b-a} \\ E(Y') &= E\left(\frac{Y-c}{d-c}\right) = \frac{E(Y)-c}{d-c} \\ E(X'Y') &= E\left(\frac{X-a}{b-a} \frac{Y-c}{d-c}\right) = \frac{E[(X-a)(Y-c)]}{(b-a)(d-c)} \\ &= \frac{E(XY-Xc-aY+ac)}{(b-a)(d-c)} = \frac{E(XY)-cE(X)-aE(Y)+ac}{(b-a)(d-c)} \\ Cov(X',Y') &= E(X'Y')-E(X')E(Y') \\ &= \frac{E(XY)-cE(X)-aE(Y)+ac}{(b-a)(d-c)} - \frac{E(X)-a}{b-a} \frac{E(Y)-c}{d-c} \\ &= \frac{[E(XY)-cE(X)-aE(Y)+ac] - [E(X)-a] [E(Y)-c]}{(b-a)(d-c)}\\ &= \frac{[E(XY)-cE(X)-aE(Y)+ac] - [E(X)E(Y)-cE(X)-aE(Y)+ac]}{(b-a)(d-c)}\\ &= \frac{E(XY)-E(X)E(Y)}{(b-a)(d-c)} = \frac{1}{(b-a)(d-c)} Cov(X,Y). \end{align*}$$ So $Cov(X,Y)=0$ if and only $Cov(X',Y')=0$.

=D

IN GENERAL:

The criterion for independence is $F(x,y) = F_X(x)F_Y(y)$. Or

$$f_{X,Y}(x,y)=f_X(x)\,f_Y(y)\tag 1$$

"If two variables are independent, their covariance is $0.$ But, having a covariance of $0$ does not imply the variables are independent."

This is nicely explained by Macro here, and in the Wikipedia entry for independence.

$\text {independence} \Rightarrow \text{zero cov}$, yet

$\text{zero cov}\nRightarrow \text{independence}.$

Great example: $X \sim N(0,1)$, and $Y= X^2.$ Covariance is zero (and $\mathbb E(XY)=0$, which is the criterion for orthogonality), yet they are dependent. Credit goes to this post.

---

IN PARTICULAR (OP problem):

These are Bernoulli rv's, $X$ and $Y$ with probability of success $\Pr(X=1)$, and $\Pr(Y=1)$.

$\begin{align}\mathrm{cov}(X,Y)&=\mathrm E[XY] - \mathrm E[X]\,\mathrm E[Y]\\[2ex] &\underset{*}{=} \Pr(X=1 \cap Y=1) - \Pr(X=1)\, \Pr(Y=1)\\[2ex] &\implies \Pr(X=1 , Y=1) = \Pr (X=1)\,\Pr(Y=1). \end{align}$

This is equivalent to the condition for independence in Eq. $(1).$

---

$(*)$:

$$\mathrm E[XY]\quad \underset{**}{=} \quad \displaystyle \sum_{\text{domain X, Y}} \Pr(X=x\cap Y=y)\, x\,y \underset{\neq\,0\text{ iff } x \times y\neq 0}= \Pr(X=1 \cap Y=1).$$

$(**)$: by LOTUS.

---

As pointed out below, the argument is incomplete without what Dilip Sarwate had pointed out in his comments shortly after the OP appeared. After searching around, I found this proof of the missing part here:

If events $A$ and $B$ are independent, then events $A^c$ and $B$ are independent, and events $A^c$ and $B^c$ are also independent.

Proof By definition,

$A$ and $B$ are independent $\iff P(A\cap B) = P(A)P(B).$

But $B=(A\cap B) + ( A^c \cup B)$, so $P(B)= P(A\cap B) + P(A^c \cup B)$, which yields:

$\small P(A^c \cap B) = P(B) - P(A\cap B) = P(B) - P(A)\,P(B) = P(B) \left[1 - P(A)\right] = P(B)\,P( A^c).$

Repeat the argument for the events $A^c$ and $B^c,$ this time starting from the statement that $A^c$ and $B$ are independent and taking the complement of $B.$

Similarly. $A$ and $B^c$ are independent events.

So, we have shown already that

$$\Pr(X=1 , Y=1) = \Pr (X=1)\,\Pr(Y=1)$$ and the above shows that this implies that $$\Pr(X=i , Y=j) = \Pr (X=i)\,\Pr(Y=j), ~~i, j \in \{0,1\}$$ that is, the joint pmf factors into the product of marginal pmfs everywhere, not just at $(1,1)$. Hence, uncorrelated Bernoulli random variables $X$ and $Y$ are also independent random variables.