Какова интуиция за независимость


18

Я надеялся, что кто-то может предложить аргумент, объясняющий, почему случайные величины и , имеющие стандартное нормальное распределение, являются статистически независимыми. Доказательство этого факта легко следует из техники MGF, но я нахожу ее крайне нелогичной.Y1=X2X1Y2=X1+X2Xi

Поэтому я был бы признателен за интуицию здесь, если таковая имеется.

Заранее спасибо.

РЕДАКТИРОВАТЬ : подписки не указывают статистику заказа, но наблюдения IID из стандартного нормального распределения.


Что такое «техника MGF»?
говорит амеба, восстанови Монику

@amoeba Это использование функций, генерирующих моменты, для определения распределения случайной величины. В моем случае я ссылаюсь на теорему о том, что и независимы тогда и только тогда, когда M ( t 1 , t 2 ) = M ( t 1 , 0 ) × M ( 0 , t 2 ) , M ( t 1 , t 2 ) равный E ( e t 1 Y 1 Y 2Y1Y2M(t1,t2)=M(t1,0)×M(0,t2)M(t1,t2)E(et1Y1+t2Y2). Выберите любую другую технику, и я уверен, что вы получите тот же результат.
JohnK

1
Вы можете найти некоторую информацию в тесно связанном потоке по адресу stats.stackexchange.com/questions/71260 .
whuber

Вы могли бы получить некоторую интуицию, рассматривая то , что происходит с каждым из них , если вы добавляете некоторые константы, скажем , μ , для каждого X . И что произойдет, если вы умножите каждый X на константу, скажем, σ
rvl

Ответы:


22

Это стандартные нормальные распределенные данные: график рассеяния в первой системе координат обратите внимание, что распределение является циркулярно-симметричным.

Когда вы переключаетесь на и Y 2 = X 1 + X 2 , вы эффективно вращаете и масштабируете ось, например, так: эта новая система координат имеет то же начало, что и исходная, и ось ортогональны. Из-за циркулярной симметрии переменные все еще независимы в новой системе координат.Y1=X2X1Y2=X1+X2диаграмма рассеяния с повернутой системой координат


4
Результат применяется даже тогда, когда X1 и коррелируются с единицами нормальных полей. Таким образом, ваше объяснение охватывает только подслучаь исходного результата. Однако основная идея здесь - это звук. X2
Glen_b

1
@Glen_b, да, ты прав. Я хотел сосредоточиться на простом случае, поскольку JohnK, кажется, уже знает, как доказать общий случай, но ему не хватает интуитивного понимания.
dobiwan

7

Результат работает для совместно нормального (т.е. с корреляцией, - 1 < ρ < 1 ), с общим σ .(X1,X2)1<ρ<1σ

Если вы знаете несколько основных результатов, это все, что вам нужно:

введите описание изображения здесь

Подход dobiwan по существу хорош - просто результат более общий, чем рассматриваемый случай.


3
+1 за разбор желаемого результата до самого необходимого. Добавлю, что для более общего случая нормальности суставов с неравными дисперсиями поворот осей на вместо±π
θ=12arctan(2ρσ1σ2σ12σ22)
подразумевается в(Х1,Х2)(Х1+Х2.Х1-Х2)производит независимые нормальные случайные величины. ±π4(X1,X2)(X1+X2.X1X2)
Дилип Сарвейт

6

В результате вы утверждаете, правда , не верно в общем, даже не для случая , когда все , что известно, что и XX1 являются нормальными случайными переменными с одинаковой дисперсией, но результатдействительно подходитдляобычнойинтерпретации условия Вы заявили позже:X2

Индексы указывают не статистику заказов, а наблюдения из стандартного нормального распределения.

Обычная интерпретация последних нескольких слов в этом утверждении, конечно, состоит в том, что и X 2X1X2 являются независимыми (нормальными) случайными величинами и, следовательно, совместно являются нормальными случайными величинами.

Для совместно нормальных случайных величин с одинаковой дисперсией верно, что и X 1 - X 2 являются независимыми (нормальными) случайными переменными (с, как правило, неравными дисперсиями), и лучше всего дать интуитивное объяснение этого в ответе Glen_b. Для вашего частного случая, когда X 1 и X 2 также независимы, ответ добивана, который вы приняли, является самым простым и действительно показывает, что любое вращение осей, а не толькоX1+X2X1X2X1X2 подразумевается в преобразовании(X1,X2)(X1+X2,X1-X±π4 , даст независимые случайные величины.(X1,X2)(X1+X2,X1X2)


Что вообще можно сказать? Во всем, что я говорю ниже, имейте в виду, что X и имеют одинаковую дисперсию , независимо от того, какие другие свойства могут быть им приписаны.Y

Если и Y - любые случайные величины (примечание: не обязательно нормальные) с одинаковой дисперсией, то X + Y и X - Y - некоррелированные случайные величины (то есть они имеют нулевую ковариацию). Это потому, что ковариационная функция является билинейной : cov ( X + YXYX+YXY

cov(X+Y,XY)=cov(X,X)cov(X,Y)+cov(Y,X)cov(Y,Y)=var(X)cov(X,Y)+cov(X,Y)var(Y)=0.
cov(X,X)var(X)XYcov(Y,X)=cov(X,Y)XYXYX+Y and XY jointly normal, and since their covariance is 0, X+Y and XY are independent random variables.

2

I first argue for general identically distributed X1,X2 that the conditional mean of Y1 conditional on Y2 is constant 0. Based on this, I argue that the covariance of  Y1,Y2 is 0. Then, under normality, zero covariance implies independence.

The conditional mean

Intuition: X1+X2=y does not imply anything about which component contributed more to the sum (e.g., X1=x,X2=yx is as likely as X1=yx,X2=x). Thus, the expected difference must be 0.

Proof: X1 and X2 have identical distribution and X1+X2 is symmetric with respect to the indexing. Thus, for symmetry reasons, the conditional distribution X1Y2=y must be equal to the conditional distribution X2Y2=y. Hence, the conditional distributions also have the same mean, and

E(Y1Y2=y)=E(X1X2X1+X2=y)=E(X1X1+X2=y)E(X2X1+X2=y)=0.

(Caveat: I did not consider the possibility that the conditional mean might not exist.)

Constant conditional mean implies zero correlation/covariance

Intuition: correlation measures how much Y1 tends to increase when Y2 increases. If observing Y2 never changes our mean of Y1, Y1 and Y2 are uncorrelated.

Proof: By definition, covariance is

Cov(Y1,Y2)=E[(Y1E(Y1))(Y2E(Y2))]
to this expectation, we apply the law of iterated expectations: take the expectation of the conditional expectation conditional on Y2:
=E[E[(Y1E(Y1))(Y2E(Y2))Y2]]=E[(Y2E(Y2))E[Y1E(Y1)Y2]].
Recall that the conditional mean was shown to be independent of Y2 and thus the expression simplifies as
=E[(Y2E(Y2))E[Y1E(Y1)]]
but the inner expectation is 0 and we get
=E[(Y2E(Y2))×0]=0.

Independence

Just by assuming identical distributions for X1,X2, it was shown that Y1 and Y2 are uncorrelated. When X1,X2 are jointly normal (for example, iid. normal as in the question), their linear combinations Y1,Y2 are also jointly normal and thus uncorrelatedness implies independence.

Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.