Линейность дисперсии

16

Я думаю, что следующие две формулы верны:

V a r (a X) = a^{2} V a r (X)

$\mathrm{Var}(aX)=a^2 \mathrm{Var}(X)$ то время как a является постоянным числом если , независимы

V a r (X + Y) = V a r (X) + V a r (Y)

$\mathrm{Var}(X + Y)=\mathrm{Var}(X)+\mathrm{Var}(Y)$

X

$X$

Y

$Y$

Тем не менее, я не уверен, что не так с ниже:

V a r (2 X) = V a r (X + X) = V a r (X) + V a r (X)

$\mathrm{Var}(2X) = \mathrm{Var}(X+X) = \mathrm{Var}(X) + \mathrm{Var}(X)$ который не равен , то есть .

2^{2} V a r (X)

$2^2 \mathrm{Var}(X)$

4 V a r (X)

$4\mathrm{Var}(X)$

Если предполагается, что - это образец, взятый из популяции, я думаю, мы всегда можем предположить, что не зависит от других s. $X$ $X$ $X$

Так что не так с моим замешательством?

variance linearity fallacy

— lanselibai
источник

8

Дисперсия не линейна - ваше первое утверждение показывает это (если бы это было так, вы бы имели . С другой стороны, ковариация является билинейной.

V a r (a X) = a V a r (X)

$Var(aX) = a Var(X)$

— Бэтмен

33

$\DeclareMathOperator{\Cov}{Cov}$ $\DeclareMathOperator{\Corr}{Corr}$ $\DeclareMathOperator{\Var}{Var}$

Проблема с вашей линией рассуждений

«Я думаю, что мы всегда можем предположить, что $X$ независим от других $X$ ».

не зависит от . Символ используется здесь для обозначения той же случайной величины. Как только вы узнаете значение первого которое появится в вашей формуле, это также исправит значение второго должно появиться. Если вы хотите, чтобы они ссылались на разные (и потенциально независимые) случайные величины, вам нужно обозначить их разными буквами (например, и ) или использовать индексы (например, и ); последний часто (но не всегда) используется для обозначения переменных, взятых из одного и того же распределения. $X$ $X$ $X$ $X$ $X$ $X$ $Y$ $X_1$ $X_2$

$X$ $Y$ $\Pr(X=a|Y=b)$ $\Pr(X=a)$ $Y$ $X$ $\Pr(X=a|X=b)$ $1$ $a=b$ $0$ $X$ $X$

Другой способ видеть вещи в том , что если две переменные независимы , то они имеют нулевую корреляцию (хотя нулевая корреляция не означает независимость !) , Но является вполне коррелируют с собой, , так не может быть независимо от себя. Обратите внимание, что поскольку ковариация определяется как , то $X$ $\Corr(X,X)=1$ $X$ $\Cov(X,Y)=\Corr(X,Y)\sqrt{\Var(X)\Var(Y)}$

Cov (X, X) = 1 \sqrt{Var (X)^{2}} = Var (X)

$\Cov(X,X)=1\sqrt{\Var(X)^2}=\Var(X)$

Более общая формула для дисперсии суммы двух случайных величин

Var (X + Y) = Var (X) + Var (Y) + 2 Cov (X, Y)

$\Var(X+Y) = \Var(X) + \Var(Y) + 2 \Cov(X,Y)$

В частности, , поэтому $\Cov(X,X) = \Var(X)$

Var (X + X) = Var (X) + Var (X) + 2 Var (X) = 4 Var (X)

$\Var(X+X) = \Var(X) + \Var(X) + 2\Var(X) = 4\Var(X)$

что так же, как вы могли бы вывести из применения правила

Var (a X) = a^{2} Var (X) ⟹ Var (2 X) = 4 Var (X)

$\Var(aX) = a^2 \Var(X) \implies \Var(2X) = 4\Var(X)$

Если вас интересует линейность, то вас может заинтересовать билинейность ковариации. Для случайных величин , , и (зависимых или независимых) и постоянных , , и мы имеем $W$ $X$ $Y$ $Z$ $a$ $b$ $c$ $d$

Cov (a W + b X, Y) = a Cov (W, Y) + b Cov (X, Y)

$\Cov(aW + bX, Y) = a \Cov(W,Y) + b \Cov(X,Y)$

Cov (X, c Y + d Z) = c Cov (X, Y) + d Cov (X, Z)

$\Cov(X, cY + dZ) = c \Cov(X,Y) + d \Cov(X,Z)$

и в целом,

Cov (a W + b X, c Y + d Z) = a c Cov (W, Y) + a d Cov (W, Z) + b c Cov (X, Y) + b d Cov (X, Z)

$\Cov(aW + bX, cY + dZ) = ac \Cov(W,Y) + ad \Cov(W,Z) + bc \Cov(X,Y) + bd \Cov(X,Z)$

Затем вы можете использовать это, чтобы доказать (нелинейные) результаты для дисперсии, которые вы написали в своем посте:

Var (a X) = Cov (a X, a X) = a^{2} Cov (X, X) = a^{2} Var (X)

$\Var(aX) = \Cov(aX, aX) = a^2 \Cov(X,X) = a^2 \Var(X)$

\begin{aligned} Var (a X + b Y) & = Cov (a X + b Y, a X + b Y) \\ = a^{2} Cov (X, X) + a b Cov (X, Y) + b a Cov (X, Y) + b^{2} Cov (Y, Y) \\ Var (a X + b Y) & = a^{2} Var (X) + b^{2} Var (Y) + 2 a b Cov (X, Y) \end{aligned}

$\begin{align} \Var(aX + bY) &= \Cov(aX + bY, aX + bY) \\ &= a^2 \Cov(X,X) + ab \Cov(X,Y) + ba \Cov (X,Y) + b^2 \Cov(Y,Y) \\ \Var(aX + bY) &= a^2 \Var(X) + b^2 \Var(Y) + 2ab \Cov(X,Y) \end{align}$

Последнее дает, как частный случай, когда , $a=b=1$

Var (X + Y) = Var (X) + Var (Y) + 2 Cov (X, Y)

$\Var(X+Y) = \Var(X) + \Var(Y) + 2 \Cov(X,Y)$

Когда и некоррелированы (что включает случай, когда они независимы), тогда это сводится к . Поэтому, если вы хотите манипулировать отклонениями «линейным» способом (который часто является хорошим способом алгебраической работы), тогда вместо этого работайте с ковариациями и используйте их билинейность. $X$ $Y$ $\Var(X+Y) = \Var(X) + \Var(Y)$

— тарпон
источник

1

Да! Я думаю, что вы точно указали в начале, что путаница была по сути нотационной. Я нахожу это очень полезным, когда одна книга (очень явно, некоторые могут сказать трудоемко) объясняет толкование и правила оценки вероятностного утверждения (например, даже если вы знаете, что вы подразумеваете под где , это технически неверно, если вы бросить в кости (и никогда не приведет к нечетному броску); событие будет правильно выражено с использованием iid).

Pr (X + X = n)

$\Pr (X+X=n)$

X \sim Uniform (1..6)

$X \sim \text{Uniform}(1..6)$

n

$n$

X + X = 2 X

$X+X=2X$

X_{1}, X_{2}

$X_1,X_2$

— Вандермонде

1

Это в отличие от (и я думаю , что мой превратное , возможно, обусловлена) , как 2+PRNG(6)+PRNG(6)часто это как бы вы бросить кости , как описано выше , и / или обозначения / конвенции , такие как в котором разные экземпляры действительно предназначены быть независимыми.

2 d 6 = d 6 + d 6

$2 \text{d}6 = \text{d}6 + \text{d}6$

— Вандермонде

@ Vandermonde Это интересный момент. Сначала я подумывал упомянуть использование подписей, чтобы различать «разные », но не стал беспокоиться - думаю, я мог бы отредактировать его сейчас. Аргумент, что «вы никогда не получите нечетный общий балл, если бы сумма была », очень ясен и убедителен для тех, кто не видит необходимости различать: спасибо, что поделились им.

X

$X$

2 X

$2X$

— Серебряная рыба

0

Другой способ думать об этом является то , что со случайными переменными . $2X \neq X + X$

$2X$ будет означать два раза значение исхода , в то время как будет означать два испытания . Другими словами, это разница между броском кубика один раз и удвоением результата, по сравнению с броском кубика дважды. $X$ $X + X$ $X$

— Вениамин
источник

+1 Это совершенно четкий и правильный ответ. Добро пожаловать на наш сайт!

— whuber

Спасибо @whuber!

— Бенджамин