Ожидаемое значение x в нормальном распределении, ДАЕТ, что оно ниже определенного значения

Просто интересно, можно ли найти ожидаемое значение x, если оно нормально распределено, учитывая, что оно ниже определенного значения (например, ниже среднего значения).

normal-distribution conditional-probability expected-value

— жасмин
источник

Это конечно возможно. Как минимум, вы можете рассчитать грубой силой . Или, если вы знаете и вы можете оценить это с помощью симуляции.

F (t)^{- 1} \int_{- \infty}^{x} t f (t) d t

$F(t)^{-1} \int_{- \infty}^{x} t f(t) dt$

μ

$\mu$

σ

$\sigma$

— dsaxton

@dsaxton В этой формуле есть некоторые опечатки, но мы поняли идею. Что меня интересует, так это то, как именно вы будете запускать симуляцию, когда порог намного ниже среднего.

— whuber

@whuber Да, должно быть . Было бы не очень разумно проводить симуляцию, когда близка к нулю, но, как вы указали, в любом случае есть точная формула.

F (t)

$F(t)$

F (x)

$F(x)$

F (x)

$F(x)$

— dsaxton

@dsaxton Хорошо, достаточно справедливо. Я только надеялся, что вы имели в виду какую-то умную и простую идею для симуляции из хвоста нормального распределения.

— whuber

Более или менее тот же вопрос в Math.SE: math.stackexchange.com/questions/749664/average-iq-of-mensa

— JiK

Ответы:

Нормально распределенная переменная со средним значением и дисперсией имеет такое же распределение, что и где - стандартная нормальная переменная. Все, что вам нужно знать о , это $X$ $\mu$ $\sigma^2$ $\sigma Z + \mu$ $Z$ $Z$

его кумулятивная функция распределения называется , $\Phi$
у него есть функция плотности вероятности , и это $\phi(z) = \Phi^\prime(z)$
$\phi^\prime(z) = -z \phi(z)$ .

Первые две марки - это просто обозначения и определения: третья - единственное специальное свойство нормальных распределений, которое нам понадобится.

Пусть «определенное значение» быть . Прогнозируя изменение от до , определите $T$ $X$ $Z$

t = (T - μ) / σ,

$t = (T-\mu)/\sigma,$

так что

Pr (X \leq T) = Pr (Z \leq t) = Φ (t) .

$\Pr(X \le T) = \Pr(Z \le t) = \Phi(t).$

Затем, начиная с определения условного ожидания, мы можем использовать его линейность для получения

\begin{aligned} E (X | X \leq T) & = E (σ Z + μ | Z \leq t) = σ E (Z | Z \leq t) + μ E (1 | Z \leq t) \\ = (σ \int_{- \infty}^{t} z ϕ (z) d z + μ \int_{- \infty}^{t} ϕ (z) d z) / Pr (Z \leq t) \\ = (- σ \int_{- \infty}^{t} ϕ^{'} (z) d z + μ \int_{- \infty}^{t} Φ^{'} (z) d z) / Φ (t) . \end{aligned}

$\eqalign{ \mathbb{E}(X\,|\, X \le T) &= \mathbb{E}(\sigma Z + \mu \,|\, Z \le t) = \sigma \mathbb{E}(Z \,|\, Z \le t) + \mu \mathbb{E}(1 \,|\, Z \le t) \\ &= \left(\sigma \int_{-\infty}^t z \phi(z) dz + \mu \int_{-\infty}^t \phi(z) dz \right) / \Pr(Z \le t)\\ &=\left(-\sigma \int_{-\infty}^t \phi^\prime(z) dz + \mu \int_{-\infty}^t \Phi^\prime(z) dz\right) / \Phi(t). }$

Фундаментальная теорема исчисления утверждает, что любой интеграл производной находится путем оценки функции в конечных точках: . Это относится к обоим интегралам. Поскольку и и должны равняться нулю в , мы получаем $\int_a^b F^\prime(z) dz = F(b) - F(a)$ $\Phi$ $\phi$ $-\infty$

E (X | X \leq T) = μ - σ \frac{ϕ (t)}{Φ (t)} .

$\mathbb{E}(X\,|\, X \le T) = \mu - \sigma \frac{\phi\left(t\right)}{\Phi\left(t\right)}.$

Это исходное среднее значение за вычетом поправочного члена, пропорционального коэффициенту обратного фрезерования .

Как и следовало ожидать, обратное отношение Миллса для должно быть положительным и превышать (график которого показан пунктирной красной линией). Он должен уменьшаться до когда становится большим, тогда усечение при (или ) почти ничего не меняет. Поскольку растет очень отрицательно, обратное отношение Миллса должно приближаться к поскольку хвосты нормального распределения уменьшаются так быстро, что почти вся вероятность в левом хвосте сосредоточена вблизи его правой стороны (в точке ). $t$ $-t$ $0$ $t$ $Z=t$ $X=T$ $t$ $-t$ $t$

Наконец, когда находится в среднем, где обратное соотношение Миллса равно . Это означает, что ожидаемое значение , усеченное по его среднему значению (которое является отрицательным от полунормального распределения ), в раз превышает его стандартное отклонение ниже исходного среднего. $T = \mu$ $t=0$ $\sqrt{2/\pi} \approx 0.797885$ $X$ $-\sqrt{2/\pi}$

— Whuber
источник

В общем, пусть имеет функцию распределения . $X$ $F(X)$

У нас, , Вы можете получить специальные случаи, взяв, например, , что дает . $x\in[c_1,c_2]$

\begin{array}{rcl} P (X \leq x | c_{1} \leq X \leq c_{2}) & = & \frac{P (X \leq x \cap c_{1} \leq X \leq c_{2})}{P (c_{1} \leq X \leq c_{2})} = \frac{P (c_{1} \leq X \leq x)}{P (c_{1} \leq X \leq c_{2})} \\ = & \frac{F (x) - F (c_{1})}{F (c_{2}) - F (c_{1})} \end{array}

$\begin{eqnarray*} P(X\leq x|c_1\leq X \leq c_2)&=&\frac{P(X\leq x\cap c_1\leq X \leq c_2)}{P(c_1\leq X \leq c_2)}=\frac{P(c_1\leq X \leq x)}{P(c_1\leq X \leq c_2)}\\&=&\frac{F(x)-F(c_1)}{F(c_2)-F(c_1)} \end{eqnarray*}$

c_{1} = - \infty

$c_1=-\infty$

F (c_{1}) = 0

$F(c_1)=0$

Используя условные файлы cdf, вы можете получить условные плотности (например, для ), которые можно использовать для условных ожиданий. $f(x|X<0)=2\phi(x)$ $X\sim N(0,1)$

В вашем примере интеграция по частям дает как в ответе @ whuber.

E (X | X < 0) = 2 \int_{- \infty}^{0} x ϕ (x) = - 2 ϕ (0),

$E(X|X<0)=2\int_{-\infty}^0x\phi(x)=-2\phi(0),$

— Кристоф Ханк
источник

+1 (как-то мне это не хватало, когда оно впервые появилось). Первая часть - превосходный отчет о том, как получить усеченные функции распределения, а вторая показывает, как вычислять их PDF-файлы.

— whuber