Я слышал, что соотношения или инверсии случайных величин часто проблематичны, поскольку не имеют ожиданий. Почему это?

25

Название вопроса. Мне говорят, что отношения и инверсии случайных величин часто проблематичны. Это означает, что ожидания часто не существуют. Есть ли простое, общее объяснение этого?

— Къетил б Халворсен
источник

25

Я хотел бы предложить очень простое, интуитивно понятное объяснение. Это равносильно рассмотрению картины: остальная часть этого поста объясняет картину и делает из нее выводы.

Вот к чему это сводится: когда «масса вероятности» сконцентрирована вблизи $X=0$ , вероятность слишком близка к $1/X\approx \pm \infty$ , в результате чего ее ожидание не определено.

Вместо того чтобы быть полностью общими, давайте сосредоточимся на случайных переменных $X$ которые имеют непрерывные плотности $f_X$ в окрестности $0$ . Предположим, что $f_X(0)\ne 0$ . Визуально эти условия означают, что график $f$ лежит выше оси около $0$ :

Непрерывность вокруг подразумевает, что для любой положительной высоты меньшей, чем и достаточно маленькой , мы можем вырезать прямоугольник под этим графом, который центрирован вокруг , имеет ширину и высоту , как показано. Это соответствует выражению исходного распределения в виде смеси равномерного распределения (с весом ) и остальным. $f_X$ $0$ $p$ $f_X(0)$ $\epsilon$ $x=0$ $2\epsilon$ $p$ $p\times 2\epsilon=2p\epsilon$

Другими словами, мы можем думать о как возникающем следующим образом: $X$

С вероятностью , нарисовать значение из Равномерное распределения. $2p\epsilon$ $(-\epsilon,\epsilon)$
В противном случае выведите значение из распределения, плотность которого пропорциональна . (Это функция, выделенная желтым цветом справа.) $f_X - p I_{(-\epsilon,\epsilon)}$

( - функция индикатора.) $I$

Шаг показывает , что для любых , вероятность того, что находится между и превышает . Эквивалентно, это шанс, что превышает . Другими словами: написание для функции выживания $(1)$ $0 \lt u \lt \epsilon$ $X$ $0$ $u$ $p u / 2$ $1/X$ $1/u$ $S$ $1/X$

S (Икс) знак равно Pr (1 / Икс > Икс),

$S(x) = \Pr(1/X \gt x),$

На рисунке показано для всех . $S(x) \gt p / (2x)$ $x \gt 1/\epsilon$

Мы закончили, потому что этот факт о подразумевает, что ожидание не определено. $S$ Сравните интегралы, участвующие в вычислении ожидания положительной части , : $1/X$ $(1/X)_{+} = \max(0, 1/X)$

Е [(1 / Икс)_{+}] знак равно \int_{0}^{\infty} S (Икс) d Икс > \int_{1 / ε}^{Икс} S (Икс) d Икс > \int_{1 / ε}^{Икс} \frac{п}{2 Икс} d Икс знак равно \frac{п}{2} журнал (Икс ε),

$E[(1/X)_{+}] = \int_0^\infty S(x)dx \gt \int_{1/\epsilon}^x S(x)dx \gt \int_{1/\epsilon}^x \frac{p}{2x}dx = \frac{p}{2} \log(x\epsilon).$

(Это чисто геометрический аргумент: каждый интеграл представляет идентифицируемую двумерную область, и все неравенства возникают из-за строгих включений в этих областях. Действительно, нам даже не нужно знать, что конечный интеграл является логарифмом: существуют простые геометрические аргументы в пользу этого интеграла расходятся.)

Так как правая сторона расходится как , тоже расходится. Ситуация с отрицательной частью такая же (потому что прямоугольник центрируется вокруг ), и тот же аргумент показывает ожидание отрицательной части расходится. Следовательно, ожидание само по себе не определено. $x\to\infty$ $E[(1/X)_{+}]$ $1/X$ $0$ $1/X$ $1/X$

Кстати, тот же аргумент показывает, что когда имеет вероятность, сконцентрированную на одной стороне от , такую как любое экспоненциальное или гамма-распределение (с параметром формы меньше ), тогда положительное ожидание все же расходится, но отрицательное ожидание равно нулю. В этом случае математическое ожидание будет определено, но бесконечно. $X$ $0$ $1$

— Whuber
источник

3

Правильно ли я подозреваю, что предположение имеет решающее значение для результата? Я имею в виду, что у нас есть случаи, когда имеет моменты, по крайней мере, для некоторого диапазона вовлеченных параметров, и кажется, что это в случаях, когда , например, Gamma / Inverse-Gamma

f_{X} (0) \neq 0

$f_X(0)\neq 0$

1 / X

$1/X$

f_{X} (0) = 0

$f_X(0) = 0$

— Alecos Papadopoulos

3

@Alecos Нет, это предположение не имеет решающего значения. Это и непрерывность в делают аргумент простым, но ни один из них не является существенным. Рассмотрим с плотностью пропорциональной для и . Это непрерывно в но не имеет ожиданий.

f

$f$

0

$0$

X

$X$

f_{X}

$f_X$

- 1 / \log (x)

$-1/\log(x)$

0 < x < 1 / e

$0 \lt x \lt 1/e$

f_{X} (0) = 0

$f_X(0)=0$

0

$0$

1 / X

$1/X$

— whuber

15

Соотношения и обратные значения в основном значимы для неотрицательных случайных величин, поэтому я почти наверняка приму . Тогда, если - дискретная переменная, которая принимает значение ноль с положительной вероятностью, мы будем делиться с нулем с положительной вероятностью, что объясняет, почему ожидание не будет существовать. $X \ge 0$ $X$ $1/X$

Теперь рассмотрим случай непрерывного распределения, где - случайная величина с функцией плотности . Предположим, что и что непрерывно (хотя бы в нуле). Тогда существует такое, что для . Ожидаемое значение задается в Теперь давайте изменим переменную интегрирования на , мы имеем , получение $X \ge 0$ $f(x)$ $f(0)>0$ $f$ $\epsilon > 0$ $f(x) > \epsilon$ $0 \le x < \epsilon$ $1/X$

Е \frac{1}{Икс} знак равно \int_{0}^{\infty} \frac{1}{Икс} е (Икс) d Икс

$\DeclareMathOperator{\E}{\mathbb{E}} \E \frac1{X} = \int_0^\infty \frac1{x} f(x)\; dx$

u = 1 / x

$u=1/x$

d u = - \frac{1}{x^{2}} d x

$du = -\frac1{x^2} \; dx$

Е \frac{1}{Икс} знак равно - \int_{\infty}^{0} U е (\frac{1}{U}) (\frac{1}{U})^{2} d U знак равно \int_{0}^{\infty} \frac{1}{U} е (\frac{1}{U}) d U

$\E \frac1{X} = -\int_{\infty}^0 u f(\frac1{u}) (\frac1{u})^2 \; du = \\ \int_0^\infty \frac1{u} f(\frac1{u}) \; du$ Теперь, по предположению на поэтому на , используя это, мы имеем показывающий, что ожидание не существует. Примером, выполняющим это предположение, является экспоненциальное распределение со скоростью 1.

f (u) > ϵ

$f(u) > \epsilon$

[0, ϵ)

$[0,\epsilon)$

f (\frac{1}{u}) > 1 / ϵ

$f(\frac1{u}) > 1/\epsilon$

(1 / ϵ, \infty)

$(1/\epsilon, \infty)$

Е \frac{1}{Икс} > ε \int_{1 / ε}^{\infty} \frac{1}{U} d U знак равно \infty

$\E \frac1{X} > \epsilon \int_{1/\epsilon}^\infty \frac1{u}\; du =\infty$

Мы дали ответ для инверсий, а как насчет соотношений? Пусть - отношение двух неотрицательных случайных величин. Если они независимы, мы можем написать так что это в значительной степени сводится к первому случаю и не так уж много нового сказать , Что, если они зависимы, с объединенным коэффициентом плотности как Тогда мы получим (используя ту же замену, что и выше) , и мы можем рассуждать , как описано выше на внутреннем интеграле. Результатом будет то, что если условная плотность (заданная $Z=Y/X$

Е Z знак равно Е \frac{Y}{Икс} знак равно Е Y \cdot Е \frac{1}{Икс}

$\E Z = \E\frac{Y}{X}=\E Y \cdot \E\frac1{x}$

е (Икс, Y) знак равно е (Икс | Y) г (Y)

$f(x,y) = f(x \mid y) g(y)$

Е \frac{Y}{Икс} знак равно \int_{0}^{\infty} Y \int_{0}^{\infty} \frac{1}{Икс} е (Икс | Y) d Икс г (Y) d Y знак равно \int_{0}^{\infty} Y \int_{0}^{\infty} \frac{1}{U} е (\frac{1}{U} | Y) d U г (Y) d Y

$\E \frac{Y}{X} = \int_0^\infty y \int_0^\infty \frac1{x} f(x\mid y) \; dx \;g(y)\; dy = \\ \int_0^\infty y \int_0^\infty \frac1{u} f(\frac1{u}\mid y) \; du \; g(y) \; dy$

y

$y$ ) является положительным и непрерывным в нуле, для набора с положительной предельной вероятностью ожидание будет бесконечным. Я предполагаю, что будет нелегко найти примеры, где предельное ожидание бесконечно, но ожидание отношения конечно, если не будет идеальной корреляции. Было бы неплохо увидеть несколько таких примеров!

y

$y$

1 / X

$1/X$

Y / X

$Y/X$

— Къетил б Халворсен
источник