Означает ли ковариация, равная нулю, независимость для двоичных случайных величин?

Если и - две случайные величины, которые могут принимать только два возможных состояния, как я могу показать, что подразумевает независимость? Этот вид противоречит тому, что я узнал в тот день, что не подразумевает независимость ... $X$ $Y$ $Cov(X,Y) = 0$ $Cov(X,Y) = 0$

Подсказка говорит, что нужно начинать с и как возможных состояний и обобщать оттуда. И я могу сделать это и показать , но это не означает независимость ??? $1$ $0$ $E(XY) = E(X)E(Y)$

Вид путать, как это сделать математически, я думаю.

covariance independence

— user3604869
источник

Это не совсем так, как подсказывает заголовок вашего вопроса ..

— Майкл Р. Черник

Утверждение, которое вы пытаетесь доказать, действительно верно. Если

X

$X$ и

Y

$Y$ являются случайными величинами Бернулли

параметрами

p_{1}

$p_1$ и

p_{2}

$p_2$ соответственно, то

E [X] = p_{1}

$E[X]=p_1$ и

E [Y] = p_{2}

$E[Y]=p_2$ . Итак,

cov (X, Y) = E [X Y] - E [X] E [Y]

$\operatorname{cov}(X,Y)=E[XY]-E[X]E[Y]$ равно

0

$0$ только тогда , когда

E [X Y] = P {X = 1, Y = 1}

$E[XY]=P\{X=1,Y=1\}$ равна

p_{1} p_{2} = P {X = 1} P {Y = 1}

$p_1p_2=P\{X=1\}P\{Y=1\}$ , показывающий , что

{X = 1}

$\{X=1\}$ и

{Y = 1}

$\{Y=1\}$ являются независимые события . Это стандартный результат, если

A

$A$ и

B

$B$ являются парой независимых событий, то же самое происходит с независимыми событиями

A, B^{c}

$A,B^c$ и

A^{c}, B

$A^c,B$ и

A^{c}, B^{c}

$A^c,B^c$ , то есть

X

$X$ и

Y

$Y$ являются независимыми случайными величинами. Теперь обобщите.

— Дилип

Ответы:

Для двоичных переменных их ожидаемое значение равно вероятности того, что они равны единице. Следовательно,

E (X Y) = P (X Y = 1) = P (X = 1 \cap Y = 1) E (X) = P (X = 1) E (Y) = P (Y = 1)

$E(XY) = P(XY = 1) = P(X=1 \cap Y=1) \\ E(X) = P(X=1) \\ E(Y) = P(Y=1) \\$

Если два имеют нулевую ковариацию, это означает, что $E(XY) = E(X)E(Y)$ , что означает

P (X = 1 \cap Y = 1) = P (X = 1) \cdot P (Y = 1)

$P(X=1 \cap Y=1) = P(X=1) \cdot P(Y=1)$

Тривиально также увидеть, как все другие совместные вероятности умножаются, используя основные правила о независимых событиях (т. Е. Если $A$ и $B$ независимы, то их дополнения независимы и т. Д.), Что означает, что объединенная функция массы факторизуется, что является определением двух случайных величин, являющихся независимыми.

— мамаша
источник

Краткий и элегантный. Классный! +1 = D

— Марсело Вентура

И корреляция, и ковариация измеряют линейную связь между двумя заданными переменными, и она не обязана обнаруживать какую-либо другую форму ассоциации.

Таким образом, эти две переменные могут быть связаны несколькими другими нелинейными способами, и ковариация (и, следовательно, корреляция) не может отличить от независимого случая.

Как очень дидактические, искусственный и не реалистичный пример, можно считать $X$ такое , что $P(X=x)=1/3$ для $x=−1,0,1$ , а также рассмотреть $Y=X^2$ . Обратите внимание, что они не только связаны, но и являются функцией другого. Тем не менее, их ковариация равна 0, поскольку их ассоциация ортогональна той ассоциации, которую может обнаружить ковариация.

РЕДАКТИРОВАТЬ

Действительно, как указывал @whuber, приведенный выше оригинальный ответ был фактически комментарием о том, что утверждение не является универсально верным, если обе переменные не обязательно являются дихотомическими. Виноват!

Итак, давайте посчитаем. (Местный эквивалент Барни Стинсона "Оденься!")

Частный случай

Если и и были дихотомическими, то можно предположить без ограничения общности, что оба принимают только значения и с произвольными вероятностями , и заданными как $X$ $Y$ $0$ $1$ $p$ $q$ $r$ которые характеризуют полностью совместное распределениеи. Принимая подсказку @ DilipSarwate, обратите внимание, что этих трех значений достаточно для определения совместного распределения, поскольку

\begin{aligned} P (X = 1) = p \in [0, 1] \\ P (Y = 1) = q \in [0, 1] \\ P (X = 1, Y = 1) = r \in [0, 1], \end{aligned}

$\begin{align*} P(X=1) = p \in [0,1] \\ P(Y=1) = q \in [0,1] \\ P(X=1,Y=1) = r \in [0,1], \end{align*}$

X

$X$

Y

$Y$

(X, Y)

$(X,Y)$

(На заметку, конечно,

обязан соблюдать оба

\begin{aligned} P (X = 0, Y = 1) & = P (Y = 1) - P (X = 1, Y = 1) = q - r \\ P (X = 1, Y = 0) & = P (X = 1) - P (X = 1, Y = 1) = p - r \\ P (X = 0, Y = 0) & = 1 - P (X = 0, Y = 1) - P (X = 1, Y = 0) - P (X = 1, Y = 1) \\ = 1 - (q - r) - (p - r) - r = 1 - p - q - r . \end{aligned}

$\begin{align*} P(X=0,Y=1) &= P(Y=1) - P(X=1,Y=1) = q - r\\ P(X=1,Y=0) &= P(X=1) - P(X=1,Y=1) = p - r\\ P(X=0,Y=0) &= 1 - P(X=0,Y=1) - P(X=1,Y=0) - P(X=1,Y=1) \\ &= 1 - (q - r) - (p - r) - r = 1 - p - q - r. \end{align*}$

r

$r$

p - r \in [0, 1]

$p-r\in[0,1]$

q - r \in [0, 1]

$q-r\in[0,1]$

за пределами

, то есть

1 - p - q - r \in [0, 1]

$1-p-q-r\in[0,1]$

r \in [0, 1]

$r\in[0,1]$

r \in [0, min (p, q, 1 - p - q)]

$r\in[0,\min(p,q,1-p-q)]$

Обратите внимание, что может быть равно произведению , что сделает и независимыми, поскольку $r = P(X=1,Y=1)$ $p\cdot q = P(X=1) P(Y=1)$ $X$ $Y$

\begin{aligned} P (X = 0, Y = 0) & = 1 - p - q - p q = (1 - p) (1 - q) = P (X = 0) P (Y = 0) \\ P (X = 1, Y = 0) & = p - p q = p (1 - q) = P (X = 1) P (Y = 0) \\ P (X = 0, Y = 1) & = q - p q = (1 - p) q = P (X = 0) P (Y = 1) . \end{aligned}

$\begin{align*} P(X=0,Y=0) &= 1 - p - q - pq = (1-p)(1-q) = P(X=0)P(Y=0)\\ P(X=1,Y=0) &= p - pq = p(1-q) = P(X=1)P(Y=0)\\ P(X=0,Y=1) &= q - pq = (1-p)q = P(X=0)P(Y=1). \end{align*}$

Yes, $r$ might be equal to $pq$ , BUT it can be different, as long as it respects the boundaries above.

Well, from the above joint distribution, we would have

\begin{aligned} E (X) & = 0 \cdot P (X = 0) + 1 \cdot P (X = 1) = P (X = 1) = p \\ E (Y) & = 0 \cdot P (Y = 0) + 1 \cdot P (Y = 1) = P (Y = 1) = q \\ E (X Y) & = 0 \cdot P (X Y = 0) + 1 \cdot P (X Y = 1) \\ = P (X Y = 1) = P (X = 1, Y = 1) = r \\ C o v (X, Y) & = E (X Y) - E (X) E (Y) = r - p q \end{aligned}

$\begin{align*} E(X) &= 0\cdot P(X=0) + 1\cdot P(X=1) = P(X=1) = p \\ E(Y) &= 0\cdot P(Y=0) + 1\cdot P(Y=1) = P(Y=1) = q \\ E(XY) &= 0\cdot P(XY=0) + 1\cdot P(XY=1) \\ &= P(XY=1) = P(X=1,Y=1) = r\\ Cov(X,Y) &= E(XY) - E(X)E(Y) = r - pq \end{align*}$

$X$ $Y$ $Cov(X,Y)=0$ $X$ $Y$ $P(X=1,Y=1)=P(X=1)P(Y=1)$ , which is to say $r=pq$ . Therefore, $Cov(X,Y)=r-pq=0$ ; and, on the other hand, if $Cov(X,Y)=0$ , then $r-pq=0$ , which is to say $r=pq$ . Therefore, $X$ and $Y$ are independent.

General Case

About the without loss of generality clause above, if $X$ and $Y$ were distributed otherwise, let's say, for $a<b$ and $c<d$ ,

\begin{aligned} P (X = b) = p \\ P (Y = d) = q \\ P (X = b, Y = d) = r \end{aligned}

$\begin{align*} P(X=b)=p \\ P(Y=d)=q \\ P(X=b, Y=d)=r \end{align*}$ then

X^{'}

$X'$ and

Y^{'}

$Y'$ given by

X^{'} = \frac{X - a}{b - a} and Y^{'} = \frac{Y - c}{d - c}

$X'=\frac{X-a}{b-a} \qquad \text{and} \qquad Y'=\frac{Y-c}{d-c}$ would be distributed just as characterized above, since

X = a \Leftrightarrow X^{'} = 0, X = b \Leftrightarrow X^{'} = 1, Y = c \Leftrightarrow Y^{'} = 0 and Y = d \Leftrightarrow Y^{'} = 1.

$X=a \Leftrightarrow X'=0, \quad X=b \Leftrightarrow X'=1, \quad Y=c \Leftrightarrow Y'=0 \quad \text{and} \quad Y=d \Leftrightarrow Y'=1.$ So

X

$X$ and

Y

$Y$ are independent if and only if

X^{'}

$X'$ and

Y^{'}

$Y'$ are independent.

Also, we would have

\begin{aligned} E (X^{'}) & = E (\frac{X - a}{b - a}) = \frac{E (X) - a}{b - a} \\ E (Y^{'}) & = E (\frac{Y - c}{d - c}) = \frac{E (Y) - c}{d - c} \\ E (X^{'} Y^{'}) & = E (\frac{X - a}{b - a} \frac{Y - c}{d - c}) = \frac{E [(X - a) (Y - c)]}{(b - a) (d - c)} \\ = \frac{E (X Y - X c - a Y + a c)}{(b - a) (d - c)} = \frac{E (X Y) - c E (X) - a E (Y) + a c}{(b - a) (d - c)} \\ C o v (X^{'}, Y^{'}) & = E (X^{'} Y^{'}) - E (X^{'}) E (Y^{'}) \\ = \frac{E (X Y) - c E (X) - a E (Y) + a c}{(b - a) (d - c)} - \frac{E (X) - a}{b - a} \frac{E (Y) - c}{d - c} \\ = \frac{[E (X Y) - c E (X) - a E (Y) + a c] - [E (X) - a] [E (Y) - c]}{(b - a) (d - c)} \\ = \frac{[E (X Y) - c E (X) - a E (Y) + a c] - [E (X) E (Y) - c E (X) - a E (Y) + a c]}{(b - a) (d - c)} \\ = \frac{E (X Y) - E (X) E (Y)}{(b - a) (d - c)} = \frac{1}{(b - a) (d - c)} C o v (X, Y) . \end{aligned}

$\begin{align*} E(X') &= E\left(\frac{X-a}{b-a}\right) = \frac{E(X)-a}{b-a} \\ E(Y') &= E\left(\frac{Y-c}{d-c}\right) = \frac{E(Y)-c}{d-c} \\ E(X'Y') &= E\left(\frac{X-a}{b-a} \frac{Y-c}{d-c}\right) = \frac{E[(X-a)(Y-c)]}{(b-a)(d-c)} \\ &= \frac{E(XY-Xc-aY+ac)}{(b-a)(d-c)} = \frac{E(XY)-cE(X)-aE(Y)+ac}{(b-a)(d-c)} \\ Cov(X',Y') &= E(X'Y')-E(X')E(Y') \\ &= \frac{E(XY)-cE(X)-aE(Y)+ac}{(b-a)(d-c)} - \frac{E(X)-a}{b-a} \frac{E(Y)-c}{d-c} \\ &= \frac{[E(XY)-cE(X)-aE(Y)+ac] - [E(X)-a] [E(Y)-c]}{(b-a)(d-c)}\\ &= \frac{[E(XY)-cE(X)-aE(Y)+ac] - [E(X)E(Y)-cE(X)-aE(Y)+ac]}{(b-a)(d-c)}\\ &= \frac{E(XY)-E(X)E(Y)}{(b-a)(d-c)} = \frac{1}{(b-a)(d-c)} Cov(X,Y). \end{align*}$ So

C o v (X, Y) = 0

$Cov(X,Y)=0$ if and only

C o v (X^{'}, Y^{'}) = 0

$Cov(X',Y')=0$ .

— Marcelo Ventura
источник

I recycled that answer from this post.

— Marcelo Ventura

Verbatim cut and paste from your other post. Love it. +1

— gammer

The problem with copy-and-paste is that your answer no longer seems to address the question: it is merely a comment on the question. It would be better, then, to post a comment with a link to your other answer.

— whuber

How is thus an answer to the question asked?

— Dilip Sarwate

Your edits still don't answer the question, at least not at the level the question is asked. You write "Notice that

r \dots

$r~\ldots$ not necessarily equal to the product

p q

$pq$ . That exceptional situation corresponds to the case of independence between

X

$X$ and

Y

$Y$ ." which is a perfectly true statement but only for the cognoscenti because for the hoi polloi, independence requires not just that

\begin{matrix} (1) & P (X = 1, Y = 1) = P (X = 1) P (Y = 1) \end{matrix}

$P(X=1,Y=1)=P(X=1)P(Y=1)\tag 1$ but also

\begin{matrix} (2) & P (X = u, Y = v) = P (X = u) P (Y = v), u . v \in {0, 1} . \end{matrix}

$P(X=u,Y=v)=P(X=u)P(Y=v),~u.v\in\{0,1\}.\tag 2$ Yes,

(1) ⟹ (2)

$(1) \implies(2)$ as the cognoscenti know; for lesser mortals, a proof that

(1) ⟹ (2)

$(1) \implies (2)$ is helpful.

— Dilip Sarwate

IN GENERAL:

The criterion for independence is $F(x,y) = F_X(x)F_Y(y)$ . Or

\begin{matrix} (1) & f_{X, Y} (x, y) = f_{X} (x) f_{Y} (y) \end{matrix}

$f_{X,Y}(x,y)=f_X(x)\,f_Y(y)\tag 1$

"If two variables are independent, their covariance is $0.$ But, having a covariance of $0$ does not imply the variables are independent."

This is nicely explained by Macro here, and in the Wikipedia entry for independence.

$\text {independence} \Rightarrow \text{zero cov}$ , yet

$\text{zero cov}\nRightarrow \text{independence}.$

Great example: $X \sim N(0,1)$ , and $Y= X^2.$ Covariance is zero (and $\mathbb E(XY)=0$ , which is the criterion for orthogonality), yet they are dependent. Credit goes to this post.

IN PARTICULAR (OP problem):

These are Bernoulli rv's, $X$ and $Y$ with probability of success $\Pr(X=1)$ , and $\Pr(Y=1)$ .

$\begin{align}\mathrm{cov}(X,Y)&=\mathrm E[XY] - \mathrm E[X]\,\mathrm E[Y]\\[2ex] &\underset{*}{=} \Pr(X=1 \cap Y=1) - \Pr(X=1)\, \Pr(Y=1)\\[2ex] &\implies \Pr(X=1 , Y=1) = \Pr (X=1)\,\Pr(Y=1). \end{align}$

This is equivalent to the condition for independence in Eq. $(1).$

$(*)$ :

E [X Y] \underset{* *}{=} \sum_{domain X, Y} Pr (X = x \cap Y = y) x y \underset{\neq 0 iff x \times y \neq 0}{=} Pr (X = 1 \cap Y = 1) .

$\mathrm E[XY]\quad \underset{**}{=} \quad \displaystyle \sum_{\text{domain X, Y}} \Pr(X=x\cap Y=y)\, x\,y \underset{\neq\,0\text{ iff } x \times y\neq 0}= \Pr(X=1 \cap Y=1).$

$(**)$ : by LOTUS.

As pointed out below, the argument is incomplete without what Dilip Sarwate had pointed out in his comments shortly after the OP appeared. After searching around, I found this proof of the missing part here:

If events $A$ and $B$ are independent, then events $A^c$ and $B$ are independent, and events $A^c$ and $B^c$ are also independent.

Proof By definition,

$A$ and $B$ are independent $\iff P(A\cap B) = P(A)P(B).$

But $B=(A\cap B) + ( A^c \cup B)$ , so $P(B)= P(A\cap B) + P(A^c \cup B)$ , which yields:

$\small P(A^c \cap B) = P(B) - P(A\cap B) = P(B) - P(A)\,P(B) = P(B) \left[1 - P(A)\right] = P(B)\,P( A^c).$

Repeat the argument for the events $A^c$ and $B^c,$ this time starting from the statement that $A^c$ and $B$ are independent and taking the complement of $B.$

Similarly. $A$ and $B^c$ are independent events.

So, we have shown already that

Pr (X = 1, Y = 1) = Pr (X = 1) Pr (Y = 1)

$\Pr(X=1 , Y=1) = \Pr (X=1)\,\Pr(Y=1)$ and the above shows that this implies that

Pr (X = i, Y = j) = Pr (X = i) Pr (Y = j), i, j \in {0, 1}

$\Pr(X=i , Y=j) = \Pr (X=i)\,\Pr(Y=j), ~~i, j \in \{0,1\}$ that is, the joint pmf factors into the product of marginal pmfs everywhere, not just at

(1, 1)

$(1,1)$ . Hence, uncorrelated Bernoulli random variables

X

$X$ and

Y

$Y$ are also independent random variables.

— Antoni Parellada
источник

Actually that's not an equivalent condition to Eq (1). All you showed was that

f_{X, Y} (1, 1) = f_{X} (1) f_{Y} (1)

$f_{X,Y}(1,1) = f_{X}(1) f_{Y}(1)$

— gammer

Please consider replacing that image with your own equations, preferably ones that don't use overbars to denote complements. The overbars in the image are very hard to see.

— Dilip Sarwate

@DilipSarwate No problem. Is it better, now?

— Antoni Parellada

Thanks. Also, note that strictly speaking, you also need to show that

A

$A$ and

B^{c}

$B^c$ are independent events since the factorization of the joint pdf into the product of the marginal pmts must hold at all four points. Perhaps adding the sentence "Similarly.

A

$A$ and

B^{c}

$B^c$ are independent events" right after the proof that

A^{c}

$A^c$ and

B

$B$ are independent events will work.

— Dilip Sarwate

@DilipSarwate Thank you very much for your help getting it right. The proof as it was before all the editing seemed self-explanatory, because of all the inherent symmetry, but it clearly couldn't be taken for granted. I am very appreciative of your assistance.

— Antoni Parellada