Какова дисперсия взвешенной смеси двух гауссиан?

Скажем, у меня есть два нормальных распределения A и B со средствами и и и . Я хочу взять взвешенную смесь этих двух распределений, используя веса и где и . Я знаю, что среднее значение этой смеси будет . $\mu_A$ $\mu_B$ $\sigma_A$ $\sigma_B$ $p$ $q$ $0\le p \le 1$ $q = 1-p$ $\mu_{AB} = (p\times\mu_A) + (q\times\mu_B)$

Какой будет разница?

Конкретный пример был бы, если бы я знал параметры для распределения мужского и женского роста. Если бы в моей комнате было 60% мужчин, я мог бы рассчитать ожидаемый средний рост для всей комнаты, но как насчет дисперсии?

normal-distribution mixture

— JoFrhwld
источник

В отношении терминологии: смесь просто имеет среднее значение и дисперсию; нет смысла квалифицировать их как «ожидаемые», если только вы не намекаете, что и следует считать случайными переменными.

p

$p$

q

$q$

— whuber

Я знаю, что смесь двух гауссовых распределений является идентифицируемой. Но если в двух дистрибутивах одинаковые эманы? То есть, можно ли идентифицировать смесь двух нормальных распределений с одинаковыми средними и разными стандартными отклонениями? Есть документы в этом контексте? Заранее спасибо

Здесь есть аналогичный вопрос с ответами (также касающийся КОВАРЯНС): math.stackexchange.com/q/195911/96547

— hplieninger

Дисперсия - это второй момент минус квадрат первого момента, поэтому достаточно вычислить моменты смесей.

В общем случае, учитывая распределения с PDF-файлами и постоянными (неслучайными) весами , PDF-смесь представляет собой $f_i$ $p_i$

f (x) = \sum_{i} p_{i} f_{i} (x),

$f(x) = \sum_i{p_i f_i(x)},$

из которого немедленно следует в любой момент что $k$

μ^{(k)} = E_{f} [x^{k}] = \sum_{i} p_{i} E_{f_{i}} [x^{k}] = \sum_{i} p_{i} μ_{i}^{(k)} .

$\mu^{(k)} = \mathbb{E}_{f}[x^k] = \sum_i{p_i \mathbb{E}_{f_i}[x^k]} = \sum_i{p_i \mu_i^{(k)}}.$

Я написал для момента и для момента . $\mu^{(k)}$ $k^{th}$ $f$ $\mu_i^{(k)}$ $k^{th}$ $f_i$

Используя эти формулы, дисперсию можно записать

Var (е) знак равно μ^{(2)} - {(μ^{(1)})}^{2} знак равно \underset{я}{Σ} п_{я} μ_{я}^{(2)} - {(\underset{я}{Σ} п_{я} μ_{я}^{(1)})}^{2},

$\text{Var}(f) = \mu^{(2)} - \left(\mu^{(1)}\right)^2 = \sum_i{p_i \mu_i^{(2)}} - \left(\sum_i{p_i \mu_i^{(1)}}\right)^2.$

Эквивалентно, если дисперсии заданы как , то , позволяя записать дисперсию смеси в терминах дисперсий и средних значений ее компонентов как $f_i$ $\sigma^2_i$ $\mu^{(2)}_i = \sigma^2_i + \left(\mu^{(1)}_i\right)^2$ $f$

\begin{aligned} Var (е) & знак равно \underset{я}{Σ} п_{я} (σ_{я}^{2} + {(μ_{я}^{(1)})}^{2}) - {(\underset{я}{Σ} п_{я} μ_{я}^{(1)})}^{2} \\ знак равно \underset{я}{Σ} п_{я} σ_{я}^{2} + \underset{я}{Σ} п_{я} {(μ_{я}^{(1)})}^{2} - {(\underset{я}{Σ} п_{я} μ_{я}^{(1)})}^{2}, \end{aligned}

$\eqalign{ \text{Var}(f) &= \sum_i{p_i \left(\sigma^2_i + \left(\mu^{(1)}_i\right)^2\right)} - \left(\sum_i{p_i \mu_i^{(1)}}\right)^2 \\ &= \sum_i{p_i \sigma^2_i} + \sum_i{p_i\left(\mu_i^{(1)}\right)^2} - \left(\sum_{i}{p_i \mu_i^{(1)}}\right)^2. }$

На словах это (средневзвешенная) средняя дисперсия плюс среднее значение в квадрате минус квадрат среднего значения. Поскольку квадрат является выпуклой функцией, неравенство Дженсена утверждает, что среднее значение в квадрате может быть не меньше, чем квадрат среднего значения. Это позволяет нам понять формулу как утверждение, что дисперсия смеси представляет собой смесь дисперсий плюс неотрицательный термин, учитывающий (взвешенную) дисперсию средних.

В вашем случае дисперсия

п_{A} σ_{A}^{2} + п_{В} σ_{В}^{2} + [п_{A} μ_{A}^{2} + п_{В} μ_{В}^{2} - (п_{A} μ_{A} + п_{В} μ_{В})^{2}],

$p_A \sigma_A^2 + p_B \sigma_B^2 + \left[p_A\mu_A^2 + p_B\mu_B^2 - (p_A \mu_A + p_B \mu_B)^2\right].$

Мы можем интерпретировать, что это взвешенная смесь двух дисперсий, , плюс (обязательно положительный) поправочный член, чтобы учесть сдвиги от индивидуальных средних относительно общего среднего значения смеси. $p_A\sigma_A^2 + p_B\sigma_B^2$

Полезность этой дисперсии для интерпретации данных, таких как приведенные в вопросе, сомнительна, потому что распределение смеси не будет нормальным (и может существенно отличаться от него в степени проявления бимодальности).

— Whuber
источник

В частности, отметив, что , ваше последнее выражение упрощается до .

p_{A} + p_{B} = 1

$p_A+p_B=1$

σ^{2} = μ^{(2)} - μ^{2} = p_{A} σ_{A}^{2} + p_{B} σ_{B}^{2} + p_{A} p_{B} (μ_{A} - μ_{B})^{2}

$\sigma^2=\mu^{(2)}-\mu^2=p_A\sigma_A^2+p_B\sigma_B^2+p_Ap_B(\mu_A-\mu_B)^2$

— Ильмари Каронен

Или, если мы навязываем вероятностное объяснение плотности смеси (есть событие вероятности и условная плотность заданная равна тогда как условная плотность заданная - ), тогда var - сумма среднего условной дисперсии плюс дисперсия условного среднего. Последний является дискретным RV со значениями с вероятностями и

A

$A$

p_{A}

$p_A$

X

$X$

A

$A$

N (μ_{A}, σ_{A}^{2})

$N(\mu_A,\sigma_A^2)$

X

$X$

A^{c} = B

$A^c = B$

N (μ_{B}, σ_{B}^{2})

$N(\mu_B,\sigma_B^2)$

(X)

$(X)$

Y

$Y$

μ_{A}, μ_{B}

$\mu_A, \mu_B$

p

$p$

q

$q$ и ваше выражение в квадратных скобках легко распознать как .

E [Y^{2}] - (E [Y])^{2}

$E[Y^2]-(E[Y])^2$

— Дилип Сарватэ

@Neodyme По определению, дисперсия - это второй момент минус средний квадрат. Следовательно, второй момент - это дисперсия плюс среднее значение в квадрате.

— whuber

@ Не надо использовать .

E (X) = μ

$E(X)=\mu$

— whuber

@Kiran Хотя в некоторых случаях смесь может выглядеть нормально, это не так. Один из способов увидеть это - вычислить избыточный эксцесс, используя приведенные здесь формулы. Он будет отличен от нуля, если все стандартные отклонения не равны - в этом случае «смесь» на самом деле не является смесью.

— whuber