Какая наиболее удивительная характеристика гауссова (нормального) распределения?

52

Стандартизированное распределение Гаусса в можно определить, явно указав его плотность: $\mathbb{R}$

\frac{1}{\sqrt{2 π}} e^{- x^{2} / 2}

$\frac{1}{\sqrt{2\pi}}e^{-x^2/2}$

или его характерная функция.

Как указано в этом вопросе, это также единственное распределение, для которого выборочное среднее и дисперсия независимы.

Какие еще удивительные альтернативные характеристики гауссовских мер вы знаете? Я приму самый удивительный ответ

— робин джирард
источник

39

Мое личное удивление связано со средним и дисперсией выборки, но вот еще одна (может быть) удивительная характеристика: если и являются IID с конечной дисперсией, причем и независимы, то и нормальны. $X$ $Y$ $X+Y$ $X-Y$ $X$ $Y$

Интуитивно, мы обычно можем определить, когда переменные не являются независимыми с диаграммой рассеяния. Итак, представьте диаграмму рассеяния пар, которая выглядит независимой. Теперь поверните на 45 градусов и посмотрите снова: если он все еще выглядит независимым, то координаты и отдельности должны быть нормальными (конечно, все это говорит свободно). $(X,Y)$ $X$ $Y$

Чтобы понять, почему работает интуитивный бит, взгляните на

[\begin{array}{cc} \cos 45^{\circ} & - \sin 45^{\circ} \\ \sin 45^{\circ} & \cos 45^{\circ} \end{array}] [\begin{matrix} x \\ y \end{matrix}] = \frac{1}{\sqrt{2}} [\begin{matrix} x - y \\ x + y \end{matrix}]

$\left[ \begin{array}{cc} \cos45^{\circ} & -\sin45^{\circ} \newline \sin45^{\circ} & \cos45^{\circ} \end{array} \right] \left[ \begin{array}{c} x \newline y \end{array} \right]= \frac{1}{\sqrt{2}} \left[ \begin{array}{c} x-y \newline x+y \end{array} \right]$

— user1108
источник

3

Джей - это в основном переосмысление среднего значения и дисперсии как независимой. - это пересчитанное среднее значение, а - пересчитанное стандартное отклонение.

X + Y

$X+Y$

X - Y

$X-Y$

— вероятностная

5

@probabilityislogic - мне нравится интуиция того, что вы сказали, но я не думаю, что это точно переформулировка, потому что не точно перемасштабирует SD: SD забывает знак. Таким образом, независимость от среднего и SD следует из независимости , (когда ), но не наоборот. Возможно, это то, что вы имели в виду под «в основном». Во всяком случае, это хорошие вещи.

X - Y

$X - Y$

X + Y

$X+Y$

X - Y

$X-Y$

n = 2

$n = 2$

4

Где мы можем найти доказательства этого свойства?

— Рой

1

@Royi см. Здесь 16 . Для (а) обратите внимание, что . Для (b) обратите внимание, что который жаждет замены из которого вы получаете . Если , то , следовательно, для всех , и существует последовательность такая, что и для всех , что противоречит непрерывности в

2 X = (X + Y) + (X - Y)

$2X=(X+Y)+(X-Y)$

φ (2 t) φ (- 2 t) = (φ (t) φ (- t))^{4}

$\varphi(2t)\varphi(-2t)=(\varphi(t)\varphi(-t))^4$

ψ (t) = φ (t) φ (- t)

$\psi(t)=\varphi(t)\varphi(-t)$

ψ (t) = ψ^{2^{2 n}} (\frac{t}{2^{n}})

$\psi(t)=\psi^{2^{2n}}(\frac{t}{2^n})$

φ (t_{0}) = 0

$\varphi(t_0)=0$

ψ (t_{0}) = 0

$\psi(t_0)=0$

n

$n$

ψ (\frac{t_{0}}{2^{n}}) = 0

$\psi(\frac{t_0}{2^n})=0$

t_{n}

$t_n$

t_{n} \to 0

$t_n\to 0$

φ (t_{n}) = 0

$\varphi(t_n)=0$

n

$n$

φ

$\varphi$

0

$0$ , (с) прямолинейный [продолжение]

— Габриэль Ромон

1

Для (d) . Обратите внимание, что , следовательно, . Включите это в предыдущее равенство и докажите, что для фиксированного , что подразумевает для всех . Это означает, что является действительным, и равенство в (a) превращается в то, что задают. Еще раз, докажите, что и используйте чтобы получить . Следовательно, и

γ (t) = γ^{2^{n}} (\frac{t}{2^{n}})

$\gamma(t)=\gamma^{2^n}(\frac{t}{2^n})$

φ (t) = 1 - \frac{t^{2}}{2} + o (t^{2})

$\varphi(t)=1-\frac{t^2}2+o(t^2)$

γ (t) = 1 + o (t^{2})

$\gamma(t)=1+o(t^2)$

t

$t$

lim_{n} γ^{2^{n}} (\frac{t}{2^{n}}) = 1

$\lim_n \gamma^{2^n}(\frac{t}{2^n}) = 1$

γ (t) = 1

$\gamma(t)=1$

t

$t$

φ

$\varphi$

φ (t) = φ^{2^{2 n}} (\frac{t}{2^{n}})

$\varphi(t)=\varphi^{2^{2n}}(\frac{t}{2^n})$

φ (t) = 1 - \frac{t^{2}}{2} + o (t^{2})

$\varphi(t)=1-\frac{t^2}2+o(t^2)$

lim_{n} φ^{2^{2 n}} (\frac{t}{2^{n}}) = e^{- t^{2} / 2}

$\lim_n \varphi^{2^{2n}}(\frac{t}{2^n}) = e^{-t^2/2}$

φ (t) = e^{- t^{2} / 2}

$\varphi(t)=e^{-t^2/2}$

X

$X$ нормально.

— Габриэль Ромон

27

Непрерывное распределение с фиксированной дисперсией, которая максимизирует дифференциальную энтропию, является гауссовым распределением.

— shabbychef
источник

22

Об этом написана целая книга: «Характеристики нормального вероятностного закона», AM Mathai & G. Perderzoli. Краткий обзор в JASA (декабрь 1978) упоминает следующее:

Пусть - независимые случайные величины. Тогда и независимы, где , если и только если [нормально] распределены. $X_1, \ldots, X_n$ $\sum_{i=1}^n{a_i x_i}$ $\sum_{i=1}^n{b_i x_i}$ $a_i b_i \ne 0$ $X_i$

— whuber
источник

3

должно быть условие, такое отсутствует? например, если n = 2 и не являются независимыми.

< a, b >= 0

$<a,b>=0$

a_{i} = b_{i} = 1

$a_i=b_i=1$

X_{1} + X_{2}

$X_1+X_2$

X_{1} + X_{2}

$X_1+X_2$

— Робин Жирар

1

@ Робин хороший улов. Я тоже ломал голову над неявными квантификаторами. К сожалению, все, к чему у меня есть доступ, это цитата из обзора, а не книга. Было бы интересно найти его в библиотеке и просмотреть его ...

— whuber

Это похоже на обобщение ответа Дж. Керна (в настоящее время № 1).

— vqv

Я думаю, что вы, возможно, ищете бумагу Lukacs & King (1954). Смотрите этот ответ на math.SE со ссылкой на вышеупомянутую статью.

— кардинал

2

Где это предложение говорит: «где », означает ли это для КАЖДОГО набора скаляров, где «? Я ненавижу видеть« где »используется вместо« для каждого »или« для некоторых »». Где «следует использовать для объяснения обозначений, например,« где - скорость света, а - валовой внутренний продукт »и т. Д.

a_{i} b_{i} \neq 0

$a_i b_i\ne 0$

a_{i} b_{i} \neq 0

$a_i b_i \ne 0$

c

$c$

g

$g$

— Майкл Харди

17

Гауссовы распределения являются единственными устойчивыми по сумме распределениями с конечной дисперсией.

— shabbychef
источник

8

То, что они являются стабильными в сумме и что они являются уникальными с конечной дисперсией, навязано нам CLT. Интересная часть этого утверждения состоит в том, что существуют другие устойчивые к сумме распределения!

— whuber

1

@whuber: действительно! эта характеристика немного искажена, а другие стабильные по сумме распределения, возможно, более любопытны.

— Шаббычеф

@whuber на самом деле, я не понимаю, как CLT подразумевает этот факт. Это только говорит нам о том , что асимптотически сумма нормалей нормальна, а не то, что любая конечная сумма нормально распределена. Или вам нужно как-то использовать теорему Слуцкого?

— Шаббычеф

3

Приняв обычную стандартизацию, сумма двух нормалей представляет собой сумму одного нормального распределения X_0 плюс предельное распределение ряда X_1, X_2, ..., откуда сумма является предельным распределением X_0, X_1, ..., которое по Линдебергу-Леви CLT это нормально.

— whuber

17

Лемма Стейна дает очень полезную характеристику. является стандартным гауссовым тогда и только тогда, когда для всех абсолютно непрерывных функций с . $Z$

E f^{'} (Z) = E Z f (Z)

$E f’(Z) = E Z f(Z)$

f

$f$

E | f^{'} (Z) | < \infty

$E|f’(Z)| < \infty$

— Vqv
источник

12

Теорема [Гершеля-Максвелла]: Пусть - случайный вектор, для которого (i) проекции на ортогональные подпространства независимы и (ii) распределение зависит только от длины, Тогда нормально распределен. $Z \in \mathbb{R}^n$ $Z$ $\|Z\|$ $Z$

Цитируется Джорджем Коббом в « Обучающей статистике: некоторые важные противоречия» (Chilean J. Statistics Vol. 2, No. 1, апрель 2011 г.) на с. 54.

Кобб использует эту характеристику в качестве отправной точки для получения , и без исчисления (или теории вероятностей). $\chi^2$ $t$ $F$

— whuber
источник

9

Пусть и две независимые случайные величины с таким общим симметричным распределением, что $\eta$ $\xi$

P (| \frac{ξ + η}{\sqrt{2}} | \geq t) \leq P (| ξ | \geq t) .

$P\left ( \left |\frac{\xi+\eta}{\sqrt{2}}\right | \geq t \right )\leq P(|\xi|\geq t).$

Тогда эти случайные величины являются гауссовыми. (Очевидно, что если и центрированы по Гауссу, это правда.) $\xi$ $\eta$

Это теорема Бобкова-Гудре

— robin girard
источник

9

Это не характеристика, а предположение, которое восходит к 1917 году и связано с Кантелли:

Если - положительная функция на а и - независимых случайных величин, таких что - нормальное, то - постоянная почти всюду. $f$ $\mathbb{R}$ $X$ $Y$ $N(0,1)$ $X+f(X)Y$ $f$

Упомянутый Жерара Letac здесь .

— ли
источник

это хорошо, что вы упоминаете об этом! Я не могу понять интуицию, а вы?

— Робин Жирар

@robin Это то, что делает эту гипотезу такой особенной: совершенно элементарное утверждение, некоторые очевидные подходы, которые с треском проваливаются (характерные функции), и одному не остается ничего понять ... Кстати, стоит ли делать ставку на гипотезу, которая была бы верной или ложь? Даже это не очевидно (для меня).

— сделал

2

Если Жерар Летак не смог доказать это, он может долго оставаться открытой догадкой ...!

— Сиань

@ Сиань: я полностью согласен, конечно. (Не знаю , что вы были роуминг в этих кварталах Сети ... Хорошие новости , что вы.)

— Сделал

6

@ Сиань Вот препринт Виктора Клепцына и Алины Курцманн с контрпримером к гипотезе Кантелли. Конструкция использует новый инструмент, который авторы называют броуновским переносом масс, и дает разрывную функцию . Авторы утверждают, что полагают, что гипотеза Кантелли справедлива, если спросить, что непрерывно (их смесь двух непрерывных функций).

f

$f$

f

$f$

— сделал

8

Предположим, что один оценивает параметр местоположения, используя данные iid . Если является оценщиком максимального правдоподобия, то распределение выборки является гауссовым. Согласно теории вероятностей Джейнса : логика науки, с. 202-4, именно так Гаусс и получил ее. $\{x_1,...,x_n\}$ $\bar{x}$

— Cyan
источник

Я не уверен, что понимаю это как характеристику нормального распределения, так что я, вероятно, что-то упускаю. Что если бы у нас были данные Пуассона и мы хотели оценить ? MLE - это но выборочное распределение не является гауссовским - во-первых, должен быть рациональным; во-вторых, если бы это было гауссово, то было бы но это .

μ

$\mu$

\bar{x}

$\bar{x}$

\bar{x}

$\bar{x}$

\bar{x}

$\bar{x}$

\sum x_{i}

$\sum{x_i}$

Poisson (n μ)

$\text{Poisson}(n\mu)$

— Серебряная рыбка

2

Среднее Пуассона не является параметром местоположения!

— kjetil b halvorsen

6

Более конкретная характеристика нормального распределения среди классов бесконечно делимых распределений представлена в Steutel и Van Harn (2004) .

бесконечно делимая случайная величина имеет нормальное распределение тогда и только тогда, когда она удовлетворяет $X$
$- \underset{x \to \infty}{lim sup} \frac{\log P (| X | > x)}{x \log (x)} = \infty .$ $-\limsup_{x\rightarrow\infty}\dfrac{\log{\mathbb P}(\vert X\vert>x)}{x\log(x)}=\infty.$

Этот результат характеризует нормальное распределение с точки зрения поведения хвоста.

— оборота user10525
источник

1

Краткое доказательство указанного предела заключается в следующем: если стандартно нормальный, то как , поэтому . Но и поэтому результат следует. Грубый набросок для случая Пуассона, кажется, указывает на то, что заданный предел равен , но я не проверял это слишком внимательно.

X

$X$

x P (X > x) / φ (x) \to 1

$x \mathbb P(X>x)/\varphi(x)\to 1$

x \to \infty

$x\to \infty$

\log P (X > x) - \log φ (x) + \log x \to 0

$\log\mathbb P(X>x)−\log \varphi(x) + \log x \to 0$

2 \log φ (x) \sim - x^{2}

$2 \log \varphi(x) \sim −x^2$

λ

$\lambda$

— кардинал

6

В контексте сглаживания изображения (например, масштабного пространства ) гауссово является единственным вращательно-симметричным сепарабельным * ядром.

То есть, если нам требуется где , то вращательная симметрия требует что эквивалентно .

F [x, y] = f [x] f [y]

$F[x,y]=f[x]f[y]$

[x, y] = r [\cos θ, \sin θ]

$[x,y]=r[\cos\theta,\sin\theta]$

\begin{aligned} F_{θ} & = f^{'} [x] f [y] x_{θ} + f [x] f^{'} [y] y_{θ} \\ = - f^{'} [x] f [y] y + f [x] f^{'} [y] x = 0 \\ ⟹ \\ \frac{f^{'} [x]}{x f [x]} & = \frac{f^{'} [y]}{y f [y]} = c o n s t . \end{aligned}

$\begin{align} F_\theta &= f'[x]f[y]x_\theta+f[x]f'[y]y_\theta \\ &= -f'[x]f[y]y+f[x]f'[y]x = 0 \\ &\implies \\ \frac{f'[x]}{xf[x]} &= \frac{f'[y]}{yf[y]} = \mathrm{const.} \end{align}$

\log [f [x]]^{'} = c x

$\log\big[f[x]\big]'=cx$

Требование, чтобы было собственным ядром, требует, чтобы константа была отрицательной, а начальное значение - положительным, в результате чего получилось ядро Гаусса. $f[x]$

* В контексте распределения вероятностей отделимое означает независимое, в то время как в контексте фильтрации изображения оно позволяет вычислительно свести двумерную свертку до двух одномерных сверток.

— GeoMatt22
источник

2

+1 Но не следует ли это из непосредственного применения теоремы Гершеля-Максвелла в 2D?

— whuber

@whuber Действительно, каким-то образом мне удалось пропустить ваш ответ при просмотре этой темы!

— амеба говорит восстановить

@whuber Да. Я не читал подробно эту старую ветку и просто добавил этот ответ по запросу.

— GeoMatt22

1

@amoeba смотрите также здесь .

— GeoMatt22

3

Недавно Эйсмонт [1] опубликовал статью с новой характеристикой Гаусса:

Пусть - независимые случайные векторы со всеми моментами, где невырождены, и пусть статистика имеют распределение, которое зависит только от , где и . Тогда независимы и имеют одинаковое нормальное распределение с нулевым и для . $(X_1,\dots, X_m,Y) \textrm{ and } (X_{m+1},\dots,X_n,Z)$ $X_i$ $\sum_{i=1}^na_iX_i+Y+Z$ $\sum_{i=1}^n a_i^2$ $a_i\in \mathbb{R}$ $1\leq m < n$ $X_i$ $cov(X_i,Y)=cov(X_i,Z)=0$ $i\in\{1,\dots,n\}$

[1]. Эйсмонт, Виктор. «Характеризация нормального распределения независимостью пары случайных векторов». Статистика и вероятностные письма 114 (2016): 1-5.

— Даниил
источник

1

Это деликатная и захватывающая характеристика. Спасибо за улучшение этой темы, поделившись ею!

— whuber

1

Его характерная функция имеет ту же форму, что и его PDF. Я не уверен в другом распределении, которое делает это.

— Джейсон
источник

4

Смотрите этот мой ответ о путях построения случайных величин, характеристические функции которых совпадают с их PDF-файлов.

— Дилип Сарвате

-1

Ожидание плюс минус стандартное отклонение - это седловые точки функции.

— Таль Галили
источник

11

Конечно, это свойство нормального распределения, но оно не характеризует его, поскольку множество других распределений также имеют это свойство.

— whuber