Обобщение закона повторных ожиданий

43

Я недавно столкнулся с этой личностью:

E [E (Y | X, Z) | X] = E [Y | X]

$E \left[ E \left(Y|X,Z \right) |X \right] =E \left[Y | X \right]$

Я, конечно, знаком с более простой версией этого правила, а именно, что но я не смог найти оправдания для его обобщение. $E \left[ E \left(Y|X \right) \right]=E \left(Y\right)$

Я был бы признателен, если бы кто-то мог указать мне на не очень техническую ссылку на этот факт или, что еще лучше, если бы кто-то мог выложить простое доказательство этого важного результата.

self-study conditional-probability conditional-expectation

— JohnK
источник

2

Если бы сам был обусловлен каким-то , разве это не выпало бы точно из более простой версии?

y

$y$

x

$x$

— Мердад

36

НЕФОРМАЛЬНОЕ ЛЕЧЕНИЕ

Мы должны помнить, что обозначение, в котором мы приводим случайные переменные, является неточным, хотя и экономичным, как обозначение. В действительности мы обусловливаем сигма-алгебру, которую генерируют эти случайные величины. Другими словами, означает . Это замечание может показаться неуместным в «Неформальной обработке», но оно напоминает нам, что наши кондиционирующие сущности являются коллекциями наборов (и когда мы обусловливаем одно значение, тогда это одноэлементный набор). И что содержат эти наборы? Они содержат информацию , с которой возможными значениями случайной величины предоставить нам о том, что может произойти с реализацией . $E[Y\mid X]$ $E[Y\mid \sigma(X)]$ $X$ $Y$
Внедрение концепции информации позволяет нам думать (и использовать) закон повторяющихся ожиданий (иногда называемый «свойством башни») очень интуитивным способом:
сигма-алгебра, порожденная двумя случайными переменными, по крайней мере как большой, который генерируется одной случайной величиной: в правильном теоретико-множественном смысле. Таким образом, информация о содержащаяся в , по крайней мере так же велика, как соответствующая информация в . Теперь, как примечание для обозначения, установите и . Тогда LHS уравнения, на которое мы смотрим, можно записать $\sigma (X) \subseteq \sigma(X,Z)$ $Y$ $\sigma(X,Z)$ $\sigma (X)$
$\sigma (X) \equiv I_x$ $\sigma(X,Z) \equiv I_{xz}$

E [E (Y | I_{x z}) | I_{x}]

$E \left[ E \left(Y|I_{xz} \right) |I_{x} \right]$ устной форме описываем вышеприведенное выражение: «каково ожидание {ожидаемого значения данной информации } при условии , что мы располагаем информацией только ?»

Y

$Y$

I_{x z}

$I_{xz}$

I_{x}

$I_x$

Можем ли мы как-то «учесть» ? Нет, мы знаем только . Но если мы используем то, что имеем (поскольку мы обязаны выражением, которое мы хотим разрешить), то мы, по сути, говорим о под оператором ожиданий, т.е. мы говорим « », не более - мы только что исчерпали нашу информацию. $I_{xz}$ $I_x$ $Y$ $E(Y\mid I_x)$

Следовательно,

E [E (Y | I_{x z}) | I_{x}] = E (Y | I_{x})

$E \left[ E \left(Y|I_{xz} \right) |I_{x} \right] = E\left(Y|I_{x} \right)$

Если кто-то еще этого не сделает, я вернусь на официальное лечение.

(Немного больше) ФОРМАЛЬНОЕ ЛЕЧЕНИЕ

Давайте посмотрим, как две очень важные книги теории вероятностей, «Вероятность и мера» П. Биллингсли (3d ed.-1995) и Д. Уильямс «Вероятность с Мартингейлом» (1991), рассматривают вопрос доказательства «закона повторных ожиданий»:
Биллингсли посвящает ровно три строки доказательству. Уильямс, и я цитирую, говорит

«(Собственность Башни) является практически непосредственной от определения условного ожидания».

Это одна строка текста. Доказательство Биллингсли не менее непрозрачно.

Они, конечно, правы: это важное и очень интуитивное свойство условного ожидания происходит по существу непосредственно (и почти сразу) из его определения - единственная проблема, я подозреваю, что это определение обычно не преподается или, по крайней мере, не выделяется, вне вероятности или измерить теоретические круги. Но чтобы показать (почти) три строки, которые выполняет закон повторных ожиданий, нам нужно определить условное ожидание, или, скорее, его определяющее свойство .

Пусть вероятностное пространство и интегрируемая случайная величина . Пусть является суб - алгебра , . Тогда существует функция которая -измерима, интегрируема и (это определяющее свойство) $(\Omega, \mathcal F, \mathbf P)$ $Y$ $\mathcal G$ $\sigma$ $\mathcal F$ $\mathcal G \subseteq \mathcal F$ $W$ $\mathcal G$

E (W \cdot 1_{G}) = E (Y \cdot 1_{G}) \forall G \in G [1]

$E(W\cdot\mathbb 1_{G}) = E(Y\cdot \mathbb 1_{G})\qquad \forall G \in \mathcal G \qquad [1]$

где является функцией индикатора множества . Мы говорим, что является («версией») условного ожидания заданного , и мы пишем критическая деталь, которую следует здесь отметить, заключается в том, что условное ожидание имеет такое же значение , как ожидается делает, а не только по всей , но в каждом подмножестве из . $1_{G}$ $G$ $W$ $Y$ $\mathcal G$ $W = E(Y\mid \mathcal G) \;a.s.$
$Y$ $\mathcal G$ $G$ $\mathcal G$

(Сейчас я попытаюсь представить, как свойство Tower вытекает из определения условного ожидания).

$W$ является -измеримой случайной величиной. Рассмотрим теперь некоторые суб- - алгебра, скажем . Тогда . Таким образом, аналогично предыдущему, мы имеем условное ожидание заданное , скажем, оно характеризуется $\mathcal G$ $\sigma$ $\mathcal H \subseteq \mathcal G$ $G\in \mathcal H \Rightarrow G\in \mathcal G$ $W$ $\mathcal H$ $U=E(W\mid \mathcal H) \;a.s.$

E (U \cdot 1_{G}) = E (W \cdot 1_{G}) \forall G \in H [2]

$E(U\cdot\mathbb 1_{G}) = E(W\cdot \mathbb 1_{G})\qquad \forall G \in \mathcal H \qquad [2]$

Поскольку , уравнения и дают нам $\mathcal H \subseteq \mathcal G$ $[1]$ $[2]$

E (U \cdot 1_{G}) = E (Y \cdot 1_{G}) \forall G \in H [3]

$E(U\cdot\mathbb 1_{G}) = E(Y\cdot \mathbb 1_{G})\qquad \forall G \in \mathcal H \qquad [3]$

Но это определяющее свойство условного ожидания данного . $Y$ $\mathcal H$ Таким образом, мы имеем право написать Так мы также по построению , мы только что доказали свойство Tower или общая форма закона повторных ожиданий - в восемь строк. $U=E(Y\mid \mathcal H)\; a.s.$
$U = E(W\mid \mathcal H) = E\big(E[Y\mid \mathcal G]\mid \mathcal H\big)$

— Алекос Пападопулос
источник

6

(+1) Это полезный способ описать абстрактную и сложную концепцию. Я полагаю, однако, что фраза «... не больше ...» должна быть «не меньше». Более того, этот раздел можно сделать более понятным, удалив негативы и используя параллельную конструкцию, как в «Сигма-алгебре, сгенерированной двумя переменными, по крайней мере, столько же, сколько сгенерированной одной случайной переменной ... Так что информация о содержала в по крайней мере так же велика, как соответствующая информация в . "

Y

$Y$

σ (X, Z)

$\sigma(X,Z)$

σ (X)

$\sigma(X)$

— whuber

Спасибо вам обоим, cc @whuber. Это очень полезная теорема.

— JohnK

@ whuber Спасибо, что заметили это, и за предложение.

— Алекос Пападопулос

24

Я понимаю условное ожидание и учу своих учеников следующим образом:

условное ожидание - это снимок, сделанный камерой с разрешением $E[Y|\sigma(X)]$ $\sigma(X)$

Как упоминал Алекос Пападопулос, обозначение является более точным, чем . Вдоль линии камеры можно рассматривать как исходный объект, например, пейзаж, пейзаж. - это снимок, сделанный камерой с разрешением . Ожидание является оператором усреднения (оператор «размывания»?). Сценарий может содержать много материала, но снимок, сделанный вами с помощью камеры с низким разрешением, несомненно, уберет некоторые детали, например, в небе может быть НЛО, который может быть виден невооруженным глазом, но это не так. появляются на вашей фотографии, сделанные (iphone 3?) $E[Y|\sigma(X)]$ $E[Y|X]$ $Y$ $E[Y|\sigma(X,Z)]$ $\sigma(X,Z)$

Если разрешение настолько высокое, что , тогда эта картинка способна уловить каждую деталь реального пейзажа. В этом случае мы имеем . $\sigma(X,Z)=\sigma(Y)$ $E[Y|\sigma(Y)]=Y$

Теперь можно рассматривать как: использование другой камеры с разрешением (например, iphone 1), которое меньше, чем (например, iphone 3) и сделайте снимок на этом изображении, созданном камерой с разрешением , тогда должно быть ясно, что это изображение на изображении должно быть таким же, как если бы вы изначально просто используйте камеру с низким разрешением на пейзаж. $E[E[Y|\sigma(X,Z)]|\sigma(X)]$ $\sigma(X)$ $\sigma(X,Z)$ $\sigma(X,Z)$ $\sigma(X)$

Это обеспечивает интуицию на . Фактически, та же самая интуиция говорит нам, что все еще. Это связано с тем, что: если ваше первое изображение было снято на iphone 1 (т.е. с низким разрешением), и теперь вы хотите использовать более качественную камеру (например, iphone 3) для создания другой фотографии на первой фотографии, то вы никак не можете можно улучшить качество первой фотографии. $E[E[Y|X,Z]|X]=E[Y|X]$ $E[E[Y|X]|X,Z]=E[Y|X]$

— KevinKim
источник

2

любить это! :) отличное объяснение.

— джессика

1

@jessica Я рад, что это помогает :-) Мне потребовалось некоторое время, чтобы придумать это объяснение

— KevinKim

21

В законе повторного ожидания (LIE) это внутреннее ожидание является случайной величиной, которая оказывается функцией , скажем, , а не является функцией . То, что ожидание этой функции оказалось равным ожиданию является следствием LIE. Все, что это, махнув рукой, это просто утверждение о том, что среднее значение можно найти путем усреднения средних значений при различных условиях. По сути, это всего лишь прямое следствие закона полной вероятности. Например, если и $E\left[E[Y \mid X]\right] = E[Y]$ $X$ $g(X)$ $Y$ $X$ $Y$ $Y$ $Y$ $X$ $Y$ - дискретные случайные величины с объединением pmf , затем \ scriptstyle {\ text {RV} ~ E [Y \ mid X] ~ \ text {имеет значение} ~ E [Y \ mid X = x] ~ \ text {when} ~ X = x} \ end {align} Уведомление как это последнее ожидание относительно ; $p_{X,Y}(x,y)$

\begin{aligned} E [Y] & = \sum_{y} y \cdot p_{Y} (y) & definition \\ = \sum_{y} y \cdot \sum_{x} p_{X, Y} (x, y) & write in terms of joint pmf \\ = \sum_{y} y \cdot \sum_{x} p_{Y ∣ X} (y ∣ X = x) \cdot p_{X} (x) & write in terms of conditional pmf \\ = \sum_{x} p_{X} (x) \cdot \sum_{y} y \cdot p_{Y ∣ X} (y ∣ X = x) & interchange order of summation \\ = \sum_{x} p_{X} (x) \cdot E [Y ∣ X = x] & inner sum is conditional expectation \\ = E [E [Y ∣ X]] & RV E [Y ∣ X] has value E [Y ∣ X = x] when X = x \end{aligned}

$\begin{align} E[Y] &= \sum_y y\cdot p_Y(y) &\scriptstyle{\text{definition}}\\ &= \sum_y y \cdot \sum_x p_{X,Y}(x,y) &\scriptstyle{\text{write in terms of joint pmf}}\\ &= \sum_y y \cdot \sum_x p_{Y\mid X}(y \mid X=x)\cdot p_X(x) &\scriptstyle{\text{write in terms of conditional pmf}}\\ &= \sum_x p_X(x)\cdot \sum_y y \cdot p_{Y\mid X}(y \mid X=x) &\scriptstyle{\text{interchange order of summation}}\\ &= \sum_x p_X(x)\cdot E[Y \mid X = x] &\scriptstyle{\text{inner sum is conditional expectation}}\\ &= E\left[E[Y\mid X]\right] &\scriptstyle{\text{RV}~E[Y\mid X]~\text{has value}~E[Y\mid X=x]~\text{when}~X=x} \end{align}$

X

$X$

E [Y ∣ X]

$E[Y\mid X]$ является функцией , а не , но тем не менее его средняя такая же , как среднее значение .

X

$X$

Y

$Y$

Y

$Y$

Обобщенная ЛОЖЬ , что вы смотрите имеет на левой , в котором внутреннее ожидание есть функция из двух случайных величин и . Аргумент похож на изложенный выше, но теперь мы должны показать, что случайная величина равна другой случайной переменной. Мы делаем это, глядя на значение когда имеет значение . Пропустив объяснения, мы имеем $E\left[E[Y \mid X, Z] \mid X\right]$ $h(X,Z)$ $X$ $Z$ $E[Y\mid X]$ $E[Y\mid X]$ $X$ $x$

\begin{aligned} E [Y ∣ X = x] & = \sum_{y} y \cdot p_{Y ∣ X} (y ∣ X = x) \\ = \sum_{y} y \cdot \frac{p_{X, Y} (x, y)}{p_{X} (x)} \\ = \sum_{y} y \cdot \frac{\sum_{z} p_{X, Y, Z} (x, y, z)}{p_{X} (x)} \\ = \sum_{y} y \cdot \frac{\sum_{z} p_{Y ∣ X, Z} (y ∣ X = x, Z = z) \cdot p_{X, Z} (x, z)}{p_{X} (x)} \\ = \sum_{z} \frac{p_{X, Z} (x, z)}{p_{X} (x)} \sum_{y} y \cdot p_{Y ∣ X, Z} (y ∣ X = x, Z = z) \\ = \sum_{z} p_{Z ∣ X} (z ∣ X = x) \cdot \sum_{y} y \cdot p_{Y ∣ X, Z} (y ∣ X = x, Z = z) \\ = \sum_{z} p_{Z ∣ X} (z ∣ X = x) \cdot E [Y ∣ X = x, Z = z) \\ = E [E [Y ∣ X, Z] ∣ X = x] \end{aligned}

$\begin{align} E[Y \mid X = x] &= \sum_y y\cdot p_{Y\mid X}(y\mid X = x)\\ &= \sum_y y \cdot \frac{p_{X,Y}(x,y)}{p_X(x)}\\ &= \sum_y y \cdot \frac{\sum_z p_{X,Y,Z}(x,y,z)}{p_X(x)}\\ &= \sum_y y \cdot \frac{\sum_z p_{Y\mid X,Z}(y \mid X=x, Z=z)\cdot p_{X,Z}(x,z)}{p_X(x)}\\ &= \sum_z \frac{p_{X,Z}(x,z)}{p_X(x)}\sum_y y \cdot p_{Y\mid X,Z}(y \mid X=x, Z=z)\\ &= \sum_z p_{Z\mid X}(z \mid X=x)\cdot \sum_y y \cdot p_{Y\mid X,Z}(y \mid X=x, Z=z)\\ &= \sum_z p_{Z\mid X}(z \mid X=x)\cdot E[Y \mid X=x, Z=z)\\ &= E\left[E[Y\mid X,Z]\mid X = x\right] \end{align}$ Обратите внимание, что предпоследняя правая часть - это формула для условного ожидаемого значения случайной величиныZ] (функция от и ) обусловлена

E [Y ∣ X, Z]

$E[Y \mid X, Z]$

X

$X$

Z

$Z$ на значении . Мы фиксируем чтобы он имел значение , умножая значения случайной величины на условное значение pmf в данного , и суммируя все такие члены.

X

$X$

X

$X$

x

$x$

E [Y ∣ X, Z]

$E[Y \mid X, Z]$

Z

$Z$

X

$X$

Таким образом, для каждого значения случайной величины значение случайной величины (которое мы отмечали ранее, является функцией , а не ), равно значению случайной величины. переменная , то есть эти две случайные величины равны. Хотел бы я соврать тебе? $x$ $X$ $E[Y\mid X]$ $X$ $Y$ $E\left[E[Y \mid X,Z]\mid X\right]$

— Дилип Сарватэ
источник