Дисперсия ограниченной случайной величины

22

Предположим, что случайная величина имеет нижнюю и верхнюю границы [0,1]. Как рассчитать дисперсию такой переменной?

variance standard-deviation measurement-error

— Петр
источник

8

То же самое, что и для неограниченной переменной - установка границ интегрирования или суммирования соответствующим образом.

— Scortchi - Восстановить Монику

2

Как сказал @ Scortchi. Но мне любопытно, почему вы подумали, что это может быть иначе?

— Питер Флом - Восстановить Монику

3

Если вы ничего не знаете о переменной (в этом случае верхняя граница дисперсии может быть вычислена из существования границ), почему факт, что она ограничена, входит в расчет?

— Glen_b

6

Полезным верхняя граница дисперсии случайной переменной , которая принимает значения в

[a, b]

$[a,b]$ с вероятностью

1

$1$ является

(b - a)^{2} / 4

$(b-a)^2/4$ , и достигается за счет дискретной случайной переменной , которая принимает значения

a

$a$ и

b

$b$ с равными вероятность

\frac{1}{2}

$\frac{1}{2}$ . Еще один момент, о котором следует помнить, это то, что дисперсия гарантированно существует, тогда как неограниченная случайная величина может не иметь дисперсии (некоторые, такие как случайные величины Коши, даже не имеют среднего значения).

— Дилип Сарвате

7

Там вне дискретная случайная величина, дисперсия равна

\frac{(b - a)^{2}}{4}

$\frac{(b-a)^2}{4}$ точно:случайная величина, которая принимает значения

a

$a$ и

b

$b$ с равной вероятностью

\frac{1}{2}

$\frac{1}{2}$ . Итак, по крайней мере, мы знаем, что универсальная верхняя граница дисперсии не может быть меньше, чем

\frac{(b - a)^{2}}{4}

$\frac{(b-a)^2}{4}$ .

— Дилип Сарват

46

Вы можете доказать неравенство Поповичу следующим образом. Используйте обозначение $m=\inf X$ и $M=\sup X$ . Определите функцию $g$ помощью

g (t) = E [{(X - t)}^{2}] .

$g(t)=\mathbb{E}\left[\left(X-t\right)^2\right] \, .$ Вычисление производной

g^{'}

$g'$ и решение

g^{'} (t) = - 2 E [X] + 2 t = 0,

$g'(t) = -2\mathbb{E}[X] +2t=0 \, ,$

g

$g$

t = E [X]

$t=\mathbb{E}[X]$

g^{″} > 0

$g''>0$

Теперь рассмотрим значение функции в специальной точке . Должно быть так, что Но Поскольку и , мы имеем подразумевая, что $g$ $t=\frac{M+m}{2}$

V a r [X] = g (E [X]) \leq g (\frac{M + m}{2}) .

$\mathbb{Var}[X]=g(\mathbb{E}[X])\leq g\left(\frac{M+m}{2}\right) \, .$

g (\frac{M + m}{2}) = E [{(X - \frac{M + m}{2})}^{2}] = \frac{1}{4} E [{((X - m) + (X - M))}^{2}] .

$g\left(\frac{M+m}{2}\right) = \mathbb{E}\left[\left(X - \frac{M+m}{2}\right)^2 \right] = \frac{1}{4}\mathbb{E}\left[\left((X-m) + (X-M)\right)^2 \right] \, .$

X - m \geq 0

$X-m\geq 0$

X - M \leq 0

$X-M\leq 0$

{((X - m) + (X - M))}^{2} \leq {((X - m) - (X - M))}^{2} = {(M - m)}^{2},

$\left((X-m)+(X-M)\right)^2\leq\left((X-m)-(X-M)\right)^2=\left(M-m\right)^2 \, ,$

\frac{1}{4} E [{((X - m) + (X - M))}^{2}] \leq \frac{1}{4} E [{((X - m) - (X - M))}^{2}] = \frac{(M - m)^{2}}{4} .

$\frac{1}{4}\mathbb{E}\left[\left((X-m) + (X-M)\right)^2 \right] \leq \frac{1}{4}\mathbb{E}\left[\left((X-m) - (X-M)\right)^2 \right] = \frac{(M-m)^2}{4} \, .$

Таким образом, мы доказали неравенство Поповичу

V a r [X] \leq \frac{(M - m)^{2}}{4} .

$\mathbb{Var}[X]\leq \frac{(M-m)^2}{4} \, .$

— Zen
источник

3

Хороший подход: приятно видеть строгие демонстрации подобных вещей.

— whuber

22

+1 Здорово! Я изучал статистику задолго до того, как компьютеры были в моде, и одна идея, которая была пробурена в нас, заключалась в том, что что позволило рассчитать дисперсию путем нахождения суммы квадратов отклонений от любой удобной точки а затем с учетом поправки. Здесь, конечно, это тождество дает простое доказательство того, что имеет минимальное значение при без необходимости производных и т. Д.

E [(X - t)^{2}] = E [((X - μ) - (t - μ))^{2}] = E [(X - μ)^{2}] + (t - μ)^{2}

$E[(X-t)^2] = E[((X-\mu)-(t-\mu))^2] = E[(X-\mu)^2]+(t-\mu)^2$

t

$t$

g (t)

$g(t)$

t = μ

$t=\mu$

— Dilip Sarwate

18

Пусть - распределение на . Покажем , что если дисперсия максимальна, то не может иметь не поддерживает в салоне, откуда следует , что является Бернулли , а остальное тривиально. $F$ $[0,1]$ $F$ $F$ $F$

В качестве примечания, пусть будет й необработанный момент (и, как обычно, мы пишем и для дисперсии). $\mu_k = \int_0^1 x^k dF(x)$ $k$ $F$ $\mu = \mu_1$ $\sigma^2 = \mu_2 - \mu^2$

Мы знаем, что не имеет всей своей поддержки в одной точке ( в этом случае дисперсия минимальна ). Среди прочего это означает, что лежит строго между и . Чтобы рассуждать от противного, предположим, что во внутреннем пространстве имеется некоторое измеримое подмножество для которого . Без потери общности мы можем предположить (изменяя на если это необходимо), что : другими словами, получается путем обрезания любого часть выше среднего и $F$ $\mu$ $0$ $1$ $I$ $(0,1)$ $F(I)\gt 0$ $X$ $1-X$ $F(J = I \cap (0, \mu]) \gt 0$ $J$ $I$ $J$ имеет положительную вероятность.

Давайте изменим на , взяв всю вероятность из и поместив ее в . $F$ $F'$ $J$ $0$ При этом меняется на $\mu_k$

μ_{К}^{'} знак равно μ_{К} - \int_{J} {Икс}^{К} d F (Икс),

$\mu'_k = \mu_k - \int_J x^k dF(x).$

Для обозначения, давайте напишем для таких интегралов, откуда $[g(x)] = \int_J g(x) dF(x)$

μ_{2}^{'} знак равно μ_{2} - [{Икс}^{2}], μ^{'} знак равно μ - [Икс],

$\mu'_2 = \mu_2 - [x^2], \quad \mu' = \mu - [x].$

Рассчитать

σ^{' 2} = μ_{2}^{'} - μ^{' 2} = μ_{2} - [x^{2}] - (μ - [x])^{2} = σ^{2} + ((μ [x] - [x^{2}]) + (μ [x] - [x]^{2})) .

$\sigma'^2 = \mu'_2 - \mu'^2 = \mu_2 - [x^2] - (\mu - [x])^2 = \sigma^2 + \left((\mu[x] - [x^2]) + (\mu[x] - [x]^2)\right).$

Второй член в правой части , , не является отрицательным , потому что всюду на . Первый член справа можно переписать $(\mu[x] - [x]^2)$ $\mu \ge x$ $J$

μ [x] - [x^{2}] = μ (1 - [1]) + ([μ] [x] - [x^{2}]) .

$\mu[x] - [x^2] = \mu(1 - [1]) + ([\mu][x] - [x^2]).$

Первое слагаемое справа строго положительно, потому что (a) и (b) потому что мы предполагали, что не сконцентрировано в точке. Второе слагаемое неотрицательно, потому что его можно переписать как и это подынтегральное выражение неотрицательно из предположений на и . Отсюда следует, что . $\mu \gt 0$ $[1] = F(J) \lt 1$ $F$ $[(\mu-x)(x)]$ $\mu \ge x$ $J$ $0 \le x \le 1$ $\sigma'^2 - \sigma^2 \gt 0$

Мы только что показали, что в наших предположениях изменение на строго увеличивает его дисперсию. Единственный способ, которым это не может произойти, - это когда вся вероятность сконцентрирована в конечных точках и с (скажем) значениями и соответственно. Его дисперсия легко вычисляется равной которая максимальна, когда и равна там. $F$ $F'$ $F'$ $0$ $1$ $1-p$ $p$ $p(1-p)$ $p=1/2$ $1/4$

Теперь, когда - это распределение на , мы перенастраиваем его и масштабируем до распределения на . Повторное центрирование не изменяет дисперсию, тогда как масштабирование делит ее на . Таким образом, с максимальной дисперсией на соответствует распределению с максимальной дисперсией на : следовательно, это распределение Бернулли масштабированное и переведенное в имеющее дисперсию 2/4 , QED . $F$ $[a,b]$ $[0,1]$ $(b-a)^2$ $F$ $[a,b]$ $[0,1]$ $(1/2)$ $[a,b]$ $(b-a)^2/4$

— Whuber
источник

Интересно, whuber. Я не знал этого доказательства.

— Дзен

6

@Zen Это ни в коем случае не так элегантно, как у тебя. Я предложил это, потому что на протяжении многих лет я так думал, сталкиваясь с гораздо более сложными неравенствами в распределении: я спрашиваю, как можно сместить вероятность, чтобы сделать неравенство более экстремальным. Как интуитивный эвристик это полезно. Используя подходы, подобные изложенному здесь, я подозреваю, что общая теория для доказательства большого класса таких неравенств может быть получена с неким гибридным вкусом вариационного исчисления и (конечномерных) методов множителей Лагранжа.

— whuber

Отлично: ваш ответ важен, потому что он описывает более общую технику, которая может использоваться для решения многих других случаев.

— Дзен

@whuber сказал: «Я спрашиваю, как можно изменить вероятность, чтобы сделать неравенство более экстремальным». - это, кажется, естественный способ думать о таких проблемах.

— Glen_b

Кажется, в выводе есть несколько ошибок. Это должно бытьКроме того, не равно поскольку не совпадает с

μ [Икс] - [{Икс}^{2}] знак равно μ (1 - [1]) [Икс] + ([μ] [Икс] - [{Икс}^{2}]),

$\mu[x] - [x^2] = \mu(1 - [1])[x] + ([\mu][x] - [x^2]).$

[(μ - x) (x)]

$[(\mu-x)(x)]$

[μ] [x] - [x^{2}]

$[\mu][x] - [x^2]$

[μ] [x]

$[\mu][x]$

μ [x]

$\mu[x]$

— Лео

13

Если случайная величина ограничена и мы знаем среднее значение , дисперсия ограничена . $[a,b]$ $\mu=E[X]$ $(b-\mu)(\mu-a)$

Рассмотрим сначала случай . Отметим, что для всех , , поэтому также . Используя этот результат, $a=0, b=1$ $x\in [0,1]$ $x^2\leq x$ $E[X^2]\leq E[X]$

σ^{2} = E [X^{2}] - (E [X]^{2}) = E [X^{2}] - μ^{2} \leq μ - μ^{2} = μ (1 - μ) .

$\begin{equation} \sigma^2 = E[X^2] - (E[X]^2) = E[X^2] - \mu^2 \leq \mu - \mu^2 = \mu(1-\mu). \end{equation}$

Чтобы обобщить интервалы с , рассмотрим ограниченный . Определите , который ограничен в . Эквивалентно, , и, таким образом, где неравенство основано на первом результате. Теперь, подставив , граница равна которое является желаемым результатом. $[a,b]$ $b>a$ $Y$ $[a,b]$ $X=\frac{Y-a}{b-a}$ $[0,1]$ $Y = (b-a)X + a$

В a р [Y] знак равно (б - a)^{2} В a р [Икс] \leq (б - a)^{2} μ_{Икс} (1 - μ_{Икс}),

$\begin{equation} Var[Y] = (b-a)^2Var[X] \leq (b-a)^2\mu_X (1-\mu_X). \end{equation}$

μ_{X} = \frac{μ_{Y} - a}{b - a}

$\mu_X = \frac{\mu_Y - a}{b-a}$

(б - a)^{2} \frac{μ_{Y} - a}{б - a} (1 - \frac{μ_{Y} - a}{б - a}) знак равно (б - a)^{2} \frac{μ_{Y} - a}{б - a} \frac{б - μ_{Y}}{б - a} знак равно (μ_{Y} - a) (б - μ_{Y}),

$\begin{equation} (b-a)^2\, \frac{\mu_Y - a}{b-a}\,\left(1- \frac{\mu_Y - a}{b-a}\right) = (b-a)^2 \frac{\mu_Y -a}{b-a}\,\frac{b - \mu_Y}{b-a} = (\mu_Y - a)(b- \mu_Y), \end{equation}$

— Юхо Коккала
источник

8

По запросу @ user603 ....

$\sigma^2$ $[a,b]$ $1$ $\sigma^2 \leq \frac{(b−a)^2}{4}$ $a=0, b=1$ $a$ $b$ $\frac{1}{2}$ $\frac{(b−a)^2}{4}$

Еще один момент, о котором следует помнить: ограниченная случайная величина имеет конечную дисперсию, тогда как для неограниченной случайной величины эта дисперсия может быть не конечной, а в некоторых случаях может даже не быть определяемой. Например, среднее не может быть определено для случайных величин Коши , и поэтому невозможно определить дисперсию (как ожидание квадрата отклонения от среднего).

— Дилип Сарватэ
источник

это особый случай ответа @ Джухо

— Аксакал

Это был просто комментарий, но я также могу добавить, что этот ответ не отвечает на заданный вопрос.

— Аксакал

@Aksakal Так ??? Юхо отвечал на немного другой и совсем недавно заданный вопрос. Этот новый вопрос был объединен с тем, который вы видите выше, на который я ответил десять месяцев назад.

— Дилип Сарвате,

0

$[a,b]$

В a р (Икс) знак равно Е [(Икс - Е [Икс])^{2}] \leq Е [(б - a)^{2}] знак равно (б - a)^{2},

$Var(X) = E[(X-E[X])^2] \le E[(b-a)^2] = (b-a)^2.$

1 / 4

$1/4$

Эта статья выглядит лучше, чем статья в Википедии ...

В a р (Икс) знак равно \frac{(б - a)^{2}}{12},

$Var(X) = \frac{(b-a)^2}{12}.$

— Ric
источник

На этой странице приводятся результаты с началом доказательства, которое для меня становится слишком сложным, так как кажется, что требуется понимание «Фундаментальной теоремы линейного программирования». sci.tech-archive.net/Archive/sci.math/2008-06/msg01239.html

— Адам Рассел

Спасибо за то, что поставили имя этому! «Неравенство Поповичу» как раз то, что мне нужно.

— Адам Рассел

2

1 / 4

$1/4$

2

Непрерывное распределение может приближаться к дискретному (в терминах cdf) сколь угодно близко (например, построить непрерывную плотность из данного дискретного, поместив небольшое ядро в форме бета (4,4) в центре в каждой точке массы - соответствующей области) и пусть стандартное отклонение каждого такого ядра уменьшается до нуля, сохраняя его площадь постоянной). Таким образом, такие дискретные оценки, которые обсуждаются здесь, будут также действовать как границы непрерывных распределений. Я ожидаю, что вы думаете о непрерывных унимодальных распределениях ... которые действительно имеют разные верхние границы.

— Glen_b

2

Ну ... мой ответ был наименее полезным, но я бы оставил его здесь из-за хороших комментариев. Приветствия, R

— Рик