Почему смесь двух нормально распределенных переменных является только бимодальной, если их средние значения отличаются как минимум в два раза от стандартного стандартного отклонения?

28

Под смесь двух нормальных распределений:

https://en.wikipedia.org/wiki/Multimodal_distribution#Mixture_of_two_normal_distributions

«Смесь из двух нормальных распределений имеет пять параметров для оценки: два средних, две дисперсии и параметр смешивания. Смесь из двух нормальных распределений с равными стандартными отклонениями является бимодальной, только если их средние значения отличаются, по меньшей мере, в два раза от общего стандартного отклонения «.

Я ищу вывод или интуитивное объяснение того, почему это правда. Я полагаю, что это может быть объяснено в форме t-теста из двух примеров:

\frac{μ_{1} - μ_{2}}{σ_{p}}

$\frac{\mu_1-\mu_2}{\sigma_p}$

где - стандартное отклонение в пуле. $\sigma_p$

bimodal

— М Ваз
источник

1

Интуиция заключается в том, что если средства слишком близки, то масса двух плотностей будет слишком сильно перекрываться, поэтому разница в средстве не будет видна, потому что разница будет просто увязана с массой двух. плотности. Если два средних значения достаточно различны, то массы двух плотностей не будут сильно перекрывать друг друга, и разница в средних значениях будет заметна. Но я хотел бы увидеть математическое доказательство этого. Это интересное заявление. Я никогда не видел это раньше.

— mlofton

2

Более формально для смеси 50:50 двух нормальных распределений с одним и тем же SD

если вы напишите плотность

в полной форме, показывающую параметры, вы будет видетьчто ее вторая производная меняет знак в средней точке между двумя средствамикогда расстояние между средствами возрастают от ниже

выше.

σ,

$\sigma,$

f (x) = 0.5 g_{1} (x) + 0.5 g_{2} (x)

$f(x) = 0.5g_1(x) + 0.5g_2(x)$

2 σ

$2\sigma$

— БрюсЭТ

1

См. «Критерий Рэлея» en.wikipedia.org/wiki/Angular_resolution#Explanation

— Карл Виттофт

53

Этот рисунок из статьи, ссылки на которую есть в этой вики-статье, представляет собой хорошую иллюстрацию

Доказательство, которое они предоставляют, основано на том факте, что нормальные распределения являются вогнутыми в пределах одного SD их среднего значения (SD является точкой перегиба нормального pdf, где оно переходит от вогнутого к выпуклому). Таким образом, если вы добавляете два нормальных PDF-файла вместе (в равных пропорциях), то, пока их средние значения отличаются менее чем на два SD, сумма-PDF (то есть смесь) будет вогнутой в области между этими двумя средними, и, следовательно, глобальный максимум должен находиться точно в точке между двумя средними.

Ссылка: Schilling, MF, Уоткинс, AE & Уоткинс, W. (2002). Является ли рост человека бимодальным? Американский статистик, 56 (3), 223–229. DOI: 10,1198 / 00031300265

— Рубен ван Берген
источник

11

+1 Это хороший, запоминающийся аргумент.

— whuber

2

Подпись к рисунку также дает хорошую иллюстрацию того, что лигатура 'fl' была неправильно введена в 'перегиб' :-P

— nekomatic

2

@Axeman: Спасибо за добавление этой ссылки - так как она немного взорвалась, я планировал добавить ее сам, так как я на самом деле просто повторяю их аргумент, и я не хочу брать за это слишком много.

— Рубен ван Берген

14

Это тот случай, когда изображения могут быть обманчивыми, потому что этот результат является особой характеристикой нормальных смесей: аналог не обязательно имеет место для других смесей, даже если компоненты имеют симметричные унимодальные распределения! Например, равная смесь из двух распределений Стьюдента, разделенных чуть менее чем в два раза их общим стандартным отклонением, будет бимодальной. Тогда для реального понимания мы должны сделать некоторую математику или обратиться к особым свойствам нормальных распределений.

Выберите единицы измерения (от центрирования и перемасштабирования по мере необходимости) для размещения средств составных распределений на $\pm\mu,$ $\mu\ge 0,$ и сделать их общую дисперсию единства. Пусть $p,$ $0 \lt p \lt 1,$ будет количеством среднего компонента в смеси. Это позволяет нам выразить плотность смеси в полной общности как

\sqrt{2 π} f (x; μ, p) = p \exp (- \frac{(x - μ)^{2}}{2}) + (1 - p) \exp (- \frac{(x + μ)^{2}}{2}) .

$\sqrt{2\pi}f(x;\mu,p) = p \exp\left(-\frac{(x-\mu)^2}{2}\right) + (1-p) \exp\left(-\frac{(x+\mu)^2}{2}\right).$

Поскольку обе плотности компонентов увеличиваются там, где $x\lt -\mu$ и уменьшаются там, где $x\gt \mu,$ единственные возможные моды возникают там, где $-\mu\le x \le \mu.$ Найдите их, дифференцируя $f$ относительно $x$ и устанавливая его в ноль. Очистка любых положительных коэффициентов, которые мы получаем

0 = - e^{2 x μ} p (x - μ) + (1 - p) (x + μ) .

$0 = -e^{2x\mu} p(x-\mu) + (1-p)(x+\mu).$

Выполнение аналогичных операций со второй производной от $f$ и замена $e^{2x\mu}$ на значение, определенное в предыдущем уравнении, говорит нам, что знак второй производной в любой критической точке является знаком

f^{''} (x; μ, p) \propto \frac{(1 + x^{2} - μ^{2})}{x - μ} .

$f^{\prime\prime}(x;\mu,p) \propto \frac{(1+x^2-\mu^2)}{x-\mu}.$

Так как знаменатель является отрицательным , когда $-\mu\lt x \lt \mu,$ знак $f^{\prime\prime}$ является то , что $-(1-\mu^2 + x^2).$ Ясно, что когда $\mu\le 1,$ знак должен быть отрицательным. Однако в мультимодальном распределении (поскольку плотность непрерывна), между любыми двумя модами должен быть антимод , где знак неотрицателен. Таким образом, когда $\mu$ меньше $1$ (SD), распределение должно быть унимодальным.

Поскольку разделение средств составляет $2\mu,$ заключение этого анализа

Смесь нормальных распределений унимодальна, если средние значения разделены не более чем в два раза по отношению к общему стандартному отклонению.

Это логически эквивалентно утверждению в вопросе.

— Whuber
источник

12

Комментарий сверху вставлен сюда для преемственности:

f (x) = 0.5 g_{1} (x) + 0.5 g_{2} (x)

$f(x)=0.5g_1(x)+0.5g_2(x)$

Комментарий продолжен:

$\sigma=1.$ $3\sigma, 2\sigma,$ $\sigma,$

R код для рисунка:

par(mfrow=c(1,3))
  curve(dnorm(x, 0, 1)+dnorm(x,3,1), -3, 7, col="green3", 
    lwd=2,n=1001, ylab="PDF", main="3 SD: Dip")
  curve(dnorm(x, .5, 1)+dnorm(x,2.5,1), -4, 7, col="orange", 
    lwd=2, n=1001,ylab="PDF", main="2 SD: Flat")
  curve(dnorm(x, 1, 1)+dnorm(x,2,1), -4, 7, col="violet", 
    lwd=2, n=1001, ylab="PDF", main="1 SD: Peak")
par(mfrow=c(1,3))

— BruceET
источник

1

все ответы были великолепны. Спасибо.

— млтфтон

3

2 / 3

$2/3$

0.001.

$0.001.$

1

0.1 %

$0.1\%$

f

$f$

x_{0})

$x_0)$

f (x_{0}) - f (x) \leq 0.001 f (x_{0}) ⟺ | x - x_{0} | \leq 0.333433,

$f(x_0)-f(x)\le 0.001 f(x_0)\ \iff\ |x-x_0|\le 0.333433,$

0.001

$0.001$

0.95832

$0.95832$

f (x_{0}) - f (x) \leq 0.001 ⟺ | x - x_{0} | \leq 0.47916.

$f(x_0)-f(x)\le 0.001\ \iff\ |x-x_0|\le 0.47916.$

Хорошие моменты. На самом деле то, что я имел в виду под сокращенным языком «плоский», было нулевой 2-й производной точно в средней точке.

— Брюс