Закон полной дисперсии как теорема Пифагора

Предположим, что и имеют конечный второй момент. В гильбертовом пространстве случайных величин со вторым конечным моментом (с внутренним произведением определяемым , ), мы можем интерпретировать как проекция на пространство функций . $X$ $Y$ $T_1,T_2$ $E(T_1T_2)$ $||T||^2=E(T^2)$ $E(Y|X)$ $Y$ $X$

Мы также знаем, что Закон полной дисперсии читается как

V a r (Y) = E (V a r (Y | X)) + V a r (E (Y | X))

$Var(Y)=E(Var(Y|X)) + Var(E(Y|X))$

Есть ли способ интерпретировать этот закон с точки зрения геометрической картины выше? Мне сказали, что закон такой же, как теорема Пифагора для прямоугольного треугольника со сторонами . Я понимаю, почему треугольник прямоугольный, но не то, как теорема Пифагора захватывает закон полной дисперсии. $Y, E(Y|X), Y-E(Y|X)$

variance conditional-expectation

— renrenthehamster
источник

Ответы:

Я предполагаю, что вам удобно рассматривать прямоугольный треугольник как означающий, что $E[Y\mid X]$ и $Y - E[Y\mid X]$ являются некоррелированными случайными величинами. Для некоррелированных случайных величин $A$ и $B$ ,

\begin{matrix} (1) & var (A + B) = var (A) + var (B), \end{matrix}

$\operatorname{var}(A+B) = \operatorname{var}(A) + \operatorname{var}(B),\tag{1}$ и поэтому, если мы установим

A = Y - E [Y ∣ X]

$A = Y - E[Y\mid X]$ и

B = E [Y ∣ X]

$B = E[Y\mid X]$ так что

A + B = Y

$A+B = Y$ , мы получаем, что

\begin{matrix} (2) & var (Y) = var (Y - E [Y ∣ X]) + var (E [Y ∣ X]) . \end{matrix}

$\operatorname{var}(Y) = \operatorname{var}(Y-E[Y\mid X]) + \operatorname{var}(E[Y\mid X]).\tag{2}$ Осталось показать, что

var (Y - E [Y ∣ X])

$\operatorname{var}(Y-E[Y\mid X])$ совпадает с

E [var (Y ∣ X)]

$E[\operatorname{var}(Y\mid X)]$ поэтому мы можем переформулировать

(2)

$(2)$ как

\begin{matrix} (3) & var (Y) = E [var (Y ∣ X)] + var (E [Y ∣ X]) \end{matrix}

$\operatorname{var}(Y) = E[\operatorname{var}(Y\mid X)] + \operatorname{var}(E[Y\mid X])\tag{3}$ которая является формулой общей дисперсии.

Хорошо известно, что ожидаемое значение случайной величины равно , то есть . Итак, мы видим, что $E[Y\mid X]$ $E[Y]$ $E\biggr[E[Y\mid X]\biggr] = E[Y]$ из чего следует, что , то есть Пусть обозначает случайную величину

E [A] = E [Y - E [Y ∣ X]] = E [Y] - E [E [Y ∣ X]] = 0,

$E[A] = E\biggr[Y - E[Y\mid X]\biggr] = E[Y] - E\biggr[E[Y\mid X]\biggr] = 0,$

var (A) = E [A^{2}]

$\operatorname{var}(A) = E[A^2]$

\begin{matrix} (4) & var (Y - E [Y ∣ X]) = E [(Y - E [Y ∣ X])^{2}] . \end{matrix}

$\operatorname{var}(Y-E[Y\mid X]) = E\left[(Y-E[Y\mid X])^2\right].\tag{4}$

C

$C$

так что мы можем написать, что

Но

где

(Y - E [Y ∣ X])^{2}

$(Y-E[Y\mid X])^2$

\begin{matrix} (5) & var (Y - E [Y ∣ X]) = E [C] . \end{matrix}

$\operatorname{var}(Y-E[Y\mid X]) = E[C].\tag{5}$

E [C] = E [E [C ∣ X]]

$E[C] = E\biggr[E[C\mid X]\biggr]$

Теперь,учитывая,что

, условное распределение

имеет среднее значение

и, следовательно,

Другими словами,

E [C ∣ X] = E [(Y - E [Y ∣ X])^{2} | X] .

$E[C\mid X] = E\biggr[(Y-E[Y\mid X])^2{\bigr\vert} X\biggr].$

X = x

$X = x$

Y

$Y$

E [Y ∣ X = x]

$E[Y\mid X=x]$

E [(Y - E [Y ∣ X = x])^{2} | X = x] = var (Y ∣ X = x) .

$E\biggr[(Y-E[Y\mid X=x])^2{\bigr\vert} X=x\biggr] = \operatorname{var}(Y\mid X = x).$

так чтослучайная величина

является просто

. Следовательно,

E [C ∣ X = x] = var (Y ∣ X = x)

$E[C\mid X = x] = \operatorname{var}(Y\mid X = x)$

E [C ∣ X]

$E[C\mid X]$

var (Y ∣ X)

$\operatorname{var}(Y\mid X)$

\begin{matrix} (6) & E [C] = E [E [C ∣ X]] = E [var (Y ∣ X)], \end{matrix}

$E[C] = E\biggr[E[C\mid X]\biggr] = E[\operatorname{var}(Y\mid X)], \tag{6}$ который после подстановки в

показывает, что

Это делает правую часть

именно тем, что нам нужно, и поэтому мы доказали формулу полной дисперсии

(5)

$(5)$

var (Y - E [Y ∣ X]) = E [var (Y ∣ X)] .

$\operatorname{var}(Y-E[Y\mid X]) = E[\operatorname{var}(Y\mid X)].$

(2)

$(2)$

(3)

$(3)$

— Дилип Сарватэ
источник

Y - E (Y | X)

$Y-E(Y|X)$

v a r (Y - E (Y | X)) = E [Y - E (Y | X)]^{2}

$var(Y-E(Y|X))=E[Y-E(Y|X)]^2$

E v a r (Y | X) = E [E ((Y - E (Y | X))^{2} | X)] = E [Y - E (Y | X)]^{2}

$Evar(Y|X)=E[E((Y-E(Y|X))^2|X)]=E[Y-E(Y|X)]^2$

E [(Y - E [Y | X])^{2}]

$E\bigr[(Y-E[Y|X])^2\bigr ]$

Дилип, многие вероятники правильно интерпретируют уравнение @ mpiktas как написанное; дополнительный набор скобок часто отбрасывается. Возможно, мои глаза обманывают меня, но я думаю, что его обозначения последовательны во всем. Я с радостью помогу исправить ситуацию, если захочу. :-)

— кардинал

E X

$EX$

E X

$\mathbb EX$

X

$X$

E X^{2}

$EX^2$

v a r \dots

$var\ldots$

Утверждение:

$T_1$ $T_2$ $\langle T_1,T_2\rangle = 0$

\begin{matrix} (1) & | | T_{1} + T_{2} | |^{2} знак равно | | T_{1} | |^{2} + | | T_{2} | |^{2}, \end{matrix}

$||T_1+T_2||^2 = ||T_1||^2 + ||T_2||^2 \tag{1}.$

Наш случай:

$T_1 = E(Y|X)$ $T_2 = Y - E[Y|X]$ $||T_i||^2 = E[T_i^2]$ $\langle T_1,T_2\rangle = E[T_1T_2]$ $(1)$

\begin{matrix} (2) & Е [Y^{2}] знак равно Е [{Е (Y | Икс)}^{2}] + Е [(Y - Е [Y | Икс])^{2}], \end{matrix}

$E[Y^2] = E[\{E(Y|X)\}^2] + E[(Y - E[Y|X])^2] \tag{2},$

E [T_{1} T_{2}] = Cov (T_{1}, T_{2}) = 0

$E[T_1T_2] = \operatorname{Cov}(T_1,T_2) = 0$

(2)

$(2)$

$(E[Y])^2$ $\operatorname{Var}[Y]$
$E[\{E(Y|X)\}^2] - (E[Y])^2 = \operatorname{Var}(E[Y|X])$
$E[(Y - E[Y|X])^2] = E[E\{(Y - E[Y|X])^2\}|X] = E[\operatorname{Var}(Y|X)]$ .

For details about these three bullet points see @DilipSarwate's post. He explains this all in much more detail than I do.

— Taylor
источник