Для каких распределений некоррелированность подразумевает независимость?

Проверенное временем напоминание в статистике «некоррелированность не означает независимость». Обычно это напоминание дополняется психологически успокаивающим (и с научной точки зрения правильным) утверждением «когда, тем не менее, две переменные совместно распределены нормально , тогда некоррелированность подразумевает независимость».

Я могу увеличить количество счастливых исключений с одного до двух: когда две переменные распределены по Бернулли , опять же, некоррелированность подразумевает независимость. Если и два Bermoulli с.в., $X$ $Y$ , для которого мы имеем , и аналогично для их ковариация равна $X \sim B(q_x),\; Y \sim B(q_y)$ $P(X=1) = E(X) = q_x$ $Y$

Cov (X, Y) = E (X Y) - E (X) E (Y) = \sum_{S_{X Y}} p (x, y) x y - q_{x} q_{y}

$\operatorname{Cov}(X,Y)= E(XY) - E(X)E(Y) = \sum_{S_{XY}}p(x,y)xy - q_xq_y$

= P (X = 1, Y = 1) - q_{x} q_{y} = P (X = 1 ∣ Y = 1) P (Y = 1) - q_{x} q_{y}

$= P(X=1,Y=1) - q_xq_y = P(X=1\mid Y=1)P(Y=1)-q_xq_y$

= (P (X = 1 ∣ Y = 1) - q_{x}) q_{y}

$= \Big(P(X=1\mid Y=1)-q_x\Big)q_y$

Для некоррелированности мы требуем, чтобы ковариация была равна нулю, поэтому

Cov (X, Y) = 0 \Rightarrow P (X = 1 ∣ Y = 1) = P (X = 1)

$\operatorname{Cov}(X,Y) = 0 \Rightarrow P(X=1\mid Y=1) = P(X=1)$

\Rightarrow P (X = 1, Y = 1) = P (X = 1) P (Y = 1)

$\Rightarrow P(X=1,Y=1) = P(X=1)P(Y=1)$

это условие, которое также необходимо для того, чтобы переменные были независимыми.

Поэтому мой вопрос: знаете ли вы какие-либо другие распределения (непрерывные или дискретные), для которых некоррелированность подразумевает независимость?

Значение: предположим, что две случайные величины имеют предельные распределения, которые принадлежат одному и тому же распределению (возможно, с разными значениями для параметров распределения), но, скажем, с той же поддержкой, например. две экспоненты, две треугольники и т. д. Все ли решения уравнения таковы, что они также подразумевают независимость в силу формы / свойств участвующих функций распределения? Так обстоит дело с нормальными маргиналами (учитывая также, что они имеют двумерное нормальное распределение), а также с маргинальными частями Бернулли - есть ли другие случаи? $X,Y$ $\operatorname{Cov}(X,Y) = 0$

Мотивация здесь заключается в том, что обычно легче проверить, равна ли ковариация нулю, по сравнению с проверкой, имеет ли место независимость. Так что, если, учитывая теоретическое распределение, проверяя ковариацию, вы также проверяете независимость (как в случае с Бернулли или обычным случаем), тогда это было бы полезно знать.
Если нам дают две выборки из двух rv, которые имеют нормальные маргиналы, мы знаем, что если мы можем статистически сделать вывод из выборок, что их ковариация равна нулю, мы также можем сказать, что они независимы (но только потому, что они имеют нормальные маргиналы). Было бы полезно узнать, можем ли мы заключить аналогичным образом в тех случаях, когда два rv имели маргиналы, которые принадлежали некоторому другому распределению.

— Алекос Пападопулос
источник

Логично, что здесь нет никаких сомнений: возьмите любую пару независимых переменных в качестве распределения. Независимо от того, связаны они или нет, они независимы от указа ! Вы действительно должны быть более точными в том, что вы подразумеваете под «распространением» и какие ответы вы найдете полезными.

— whuber

@whuber Я не понимаю твой комментарий. Я начинаю с некоррелированности и спрашиваю: «Могу ли я доказать, что они некоррелированы, когда это означает, что они также независимы»? Поскольку два результата, изложенные в этом вопросе, зависят от того, имеет ли р.в. конкретное распределение (нормальное или Бернулли), я спрашиваю: «Существует ли какое-либо другое известное распределение, для которого, если за ним следуют две переменные, этот результат имеет место»?

— Алекос Пападопулос

Возьмем любые две независимые переменные

и пусть

будет их распределением.

- правильный ответ на ваш вопрос. Обратите внимание, что вы просите доказать условное условие, которое по определению истинно всякий раз, когда следствие истинно, независимо от того, каким может быть значение истинности его предшественника. Таким образом, по основным правилам логики все распределения независимых переменных являются ответами на ваш вопрос.

X, Y

$X,Y$

F

$F$

F

$F$

— whuber

@ Whuber, вы, очевидно, правы. Я добавил текст, связанный с мотивацией для этого вопроса, который, я надеюсь, прояснит мою мотивацию.

— Алекос Пападопулос

С какой информацией вы начинаете принимать решение? Из формулировки вашего примера кажется, что вам дается предельный pdf для каждой переменной и информация о том, что каждая пара переменных не коррелирована. Затем вы решаете, являются ли они также независимыми. Это точно?

— вероятностная

«Тем не менее, если две переменные нормально распределены, то некоррелированность подразумевает независимость» - очень распространенная ошибка .

Это применимо только в том случае, если они совместно распространяются нормально.

Контрпример, который я видел чаще всего, это обычный и независимый Радемахер (так что это 1 или -1 с вероятностью 0,5 каждый); тогда также является нормальным (ясно из рассмотрения его функции распределения), (здесь проблема состоит в том, чтобы показать например, путем итерации ожидания по и отметив, что является $X \sim N(0,1)$ $Y$ $Z=XY$ $\operatorname{Cov}(X,Z)=0$ $\mathbb{E}(XZ)=0$ $Y$ $XZ$ $X^2$ или с вероятностью 0,5 каждый) и ясно, что переменные являются зависимыми (например, если я знаю то либо либо , поэтому информация о дает мне информацию о ). $-X^2$ $X>2$ $Z>2$ $Z<-2$ $X$ $Z$

Также следует иметь в виду, что предельные распределения не определяют однозначно совместное распределение. Возьмем любые два реальных RV и с маргинальными CDF и . Тогда для любого функция: $X$ $Y$ $F_X(x)$ $G_Y(y)$ $\alpha<1$

{ЧАС}_{Икс, Y} (Икс, Y) знак равно F_{Икс} (Икс) {грамм}_{Y} (Y) (1 + α (1 - F_{Икс} (Икс)) (1 - F_{Y} (Y)))

$H_{X,Y}(x,y)=F_X(x)G_Y(y)\left(1+\alpha\big(1-F_X(x)\big)\big(1-F_Y(y)\big)\right)$

будет двумерным CDF. (Чтобы получить маргинальное значение из возьмите предел по мере того, как уходит в бесконечность, где Обратно для ) Очевидно, выбирая различные значения из вы можете получить различные совместные распределения! $F_X(x)$ $H_{X,Y}(x,y)$ $y$ $F_Y(y)=1$ $Y$ $\alpha$

— тарпон
источник

Верно. Я забыл о "совместном".

— Алекос Пападопулос

@Alecos Так как маргинальные распределения не определяют совместное распределение в целом (просто отредактировал мой ответ, чтобы прояснить это), где это оставляет ваш вопрос?

— Серебряная рыба

@ Алекос Я думаю, что теперь я лучше понимаю суть вопроса: учитывая два маргинальных распределения, существует бесконечный набор возможных совместных распределений. При каких обстоятельствах введение условия нулевой ковариации оставляет нам только одно из этих совместных распределений, все еще возможное, а именно то, в котором случайные величины независимы?

— Серебряная рыба

M_{X, Y} (s, t)

$M_{X,Y}(s,t)$

M_{X} (s) = M_{X, Y} (s, 0)

$M_X(s)=M_{X,Y}(s,0)$

M_{Y} (t) = M_{X, Y} (0, t)

$M_Y(t)=M_{X,Y}(0,t)$

\frac{\partial^{2}}{\partial s \partial t} M_{X, Y} (s, t) |_{s = 0, t = 0} = \frac{\partial}{\partial s} M_{X, Y} (s, t) |_{s = 0, t = 0} \cdot \frac{\partial}{\partial t} M_{X, Y} (s, t) |_{s = 0, t = 0}

$\frac{\partial^2}{\partial s \partial t}M_{X,Y}(s,t)|_{s=0,t=0} = \frac{\partial}{\partial s} M_{X,Y}(s,t)|_{s=0,t=0} \cdot \frac{\partial}{\partial t} M_{X,Y}(s,t)|_{s=0,t=0}$

M_{X, Y} (s, t) = M_{X, Y} (s, 0) \cdot M_{X, Y} (0, t)

$M_{X,Y}(s,t)=M_{X,Y}(s,0) \cdot M_{X,Y}(0,t)$

@Silverman Я бы проверил концепцию суб-независимости , en.wikipedia.org/wiki/Subindependence , чтобы посмотреть, можно ли сформулировать эту проблему в терминах функций, генерирующих моменты.

— Алекос Пападопулос