Возможно ли иметь пару гауссовых случайных величин, для которых совместное распределение не является гауссовым?

Кто-то задал мне этот вопрос на собеседовании, и я ответил, что их совместное распространение всегда гауссовское. Я думал, что всегда могу написать двумерный гауссовский язык со своими средствами, дисперсией и ковариациями. Мне интересно, может ли быть случай, когда совместная вероятность двух гауссианов не является гауссовой?

— MarkSAlen
источник

Еще один пример из Википедии . Конечно, если переменные независимы и незначительно гауссовы, то они совместно являются гауссовыми.

Пример здесь wu.ece.ufl.edu/books/math/probability/jointlygaussian.pdf

— Стефан Лоран,

Ответы:

138

Двустороннее нормальное распределение является исключением , а не правилом!

Важно признать, что «почти все» совместные распределения с нормальными маргиналами не являются двумерным нормальным распределением. То есть общая точка зрения, что совместные распределения с нормальными маргиналами, которые не являются двумерными, являются «патологическими», немного ошибочна.

Конечно, многомерная нормаль чрезвычайно важна из-за ее устойчивости при линейных преобразованиях, и поэтому ей уделяется большое внимание в приложениях.

Примеры

Полезно начать с некоторых примеров. На рисунке ниже представлены тепловые карты шести двумерных распределений, каждый из которых имеет стандартные нормальные маргинальные значения. Левый и средний в верхнем ряду - двумерные нормали, остальные - нет (как должно быть очевидно). Они описаны ниже.

Примеры двумерного распределения со стандартными нормальными маргиналами.

Голые кости связок

Свойства зависимости часто эффективно анализируются с помощью связок . Двумерным копула это просто красивое название для распределения вероятностей на единицу площади с равномерными маргинальными. $[0,1]^2$

Предположим, что - двумерная связка. Тогда, непосредственно из вышесказанного, мы знаем, что , и , например. $C(u,v)$ $C(u,v) \geq 0$ $C(u,1) = u$ $C(1,v) = v$

Мы можем построить двумерные случайные величины на евклидовой плоскости с заданными маргиналами простым преобразованием двумерной связки. Пусть и - предписанные маргинальные распределения для пары случайных величин . Тогда, если - двумерная связка, - двумерная функция распределения с маргиналами и . Чтобы увидеть этот последний факт, просто обратите внимание, что Тот же аргумент работает для . $F_1$ $F_2$ $(X,Y)$ $C(u,v)$

F (x, y) = C (F_{1} (x), F_{2} (y))

$F(x,y) = C(F_1(x), F_2(y))$

F_{1}

$F_1$

F_{2}

$F_2$

P (X \leq x) = P (X \leq x, Y < \infty) = C (F_{1} (x), F_{2} (\infty)) = C (F_{1} (x), 1) = F_{1} (x) .

$\renewcommand{\Pr}{\mathbb P} \Pr(X \leq x) = \Pr(X \leq x, Y < \infty) = C(F_1(x), F_2(\infty)) = C(F_1(x),1) = F_1(x) \>.$

F_{2}

$F_2$

Для непрерывного и , теорема Скляр в утверждает обратимо подразумевающий уникальность. То есть, учитывая двумерное распределение с непрерывными маргиналами , , соответствующая связка является уникальной (в соответствующем пространстве диапазонов). $F_1$ $F_2$ $F(x,y)$ $F_1$ $F_2$

Бивариат нормальный является исключительным

Теорема Склара говорит нам (по существу), что есть только одна связка, которая производит двумерное нормальное распределение. Это метко названная гауссова связка с плотностью на где числитель - это двумерное нормальное распределение с корреляцией оцененной в и . $[0,1]^2$

c_{ρ} (u, v) := \frac{\partial^{2}}{\partial u \partial v} C_{ρ} (u, v) = \frac{φ_{2, ρ} (Φ^{- 1} (u), Φ^{- 1} (v))}{φ (Φ^{- 1} (u)) φ (Φ^{- 1} (v))},

$c_\rho(u,v) := \frac{\partial^2}{\partial u \partial v} C_\rho(u,v) = \frac{\varphi_{2,\rho}(\Phi^{-1}(u),\Phi^{-1}(v))}{\varphi(\Phi^{-1}(u)) \varphi(\Phi^{-1}(v))} \>,$

ρ

$\rho$

Φ^{- 1} (u)

$\Phi^{-1}(u)$

Φ^{- 1} (v)

$\Phi^{-1}(v)$

Но есть много других связок, и все они дадут двумерное распределение с нормальными маргиналами, которое не является двумерным нормальным, используя преобразование, описанное в предыдущем разделе.

Некоторые подробности на примерах

Обратите внимание, что если является произвольной связкой с плотностью , то соответствующая двумерная плотность со стандартными нормальными маргиналами при преобразовании есть $C(u,v)$ $c(u,v)$ $F(x,y) = C(\Phi(x),\Phi(y))$

f (x, y) = φ (x) φ (y) c (Φ (x), Φ (y)) .

$f(x,y) = \varphi(x) \varphi(y) c(\Phi(x), \Phi(y)) \> .$

Обратите внимание, что, применяя гауссову связку в вышеприведенном уравнении, мы восстанавливаем двумерную нормальную плотность. Но для любого другого выбора мы не будем. $c(u,v)$

Примеры на рисунке построены следующим образом (проходя по каждой строке по одному столбцу за раз):

Двустороннее нормальное с независимыми компонентами.
Двустороннее нормальное с . $\rho = -0.4$
Пример , приведенный в этом ответе на Дилип Sarwate . Легко видеть, что он вызван связкой с плотностью . $C(u,v)$ $c(u,v) = 2 (\mathbf 1_{(0 \leq u \leq 1/2, 0 \leq v \leq 1/2)} + \mathbf 1_{(1/2 < u \leq 1, 1/2 < v \leq 1)})$
Генерируется из копулы Франка с параметром . $\theta = 2$
Генерируется из копулы Клейтона с параметром . $\theta = 1$
Генерируется из асимметричной модификации копулы Клейтона с параметром . $\theta = 3$

— кардинальный
источник

+1 за замечание, что двумерная нормальная плотность является исключительным случаем!

— Дилип Сарвате

Может быть, я что-то упускаю, но если мы начнем с , совместное распределение определяется автоматически, независимо от конструкции связки, и если мы применяем Построение гауссовой связки для их CDF, это правда, что мы получим негауссов CDF , но эта функция в общем случае не будет CDF пары случайных величин мы начали, верно ?

X_{1}, X_{2} \sim N (0, 1)

$X_1, X_2\sim\mathcal N(0,1)$

(X_{1}, X_{2})

$(X_1, X_2)$

F (x_{1}, x_{2})

$F(x_1,x_2)$

X_{,} X_{2}

$X_, X_2$

— RandomGuy

Пример того , как смоделировать , как в нижней правой панели: library(copula) kcf <- khoudrajiCopula(copula2 = claytonCopula(6), shapes = fixParam(c(.4, 1), c(FALSE, TRUE))) # force normal margins evil <- mvdc(kcf, c("norm", "norm"), list(list(mean = 0, sd =1), list(mean = 0, sd = 1))) contour(evil, dMvdc, xlim = c(-3, 3), ylim=c(-3, 3))

— половина прохода

@RandomGuy, вы пропускаете неустановленное предположение, что . Если вы предполагаете, что они независимы, то да, вы уже знаете совместное распространение. Без предположения о независимости знание предельных распределений не дает достаточно информации для определения совместного распределения.

X_{1}, X_{2} \sim i n d e p e n d e n t N (0, 1)

$X_1, X_2 \sim independent N(0, 1)$

— MentatOfDune

Это правда, что каждый элемент многовариантного нормального вектора сам по себе нормально распределен, и вы можете определить их средние значения и дисперсии. Однако неверно, что любые две гуасианские случайные величины совместно распределены нормально. Вот пример:

Изменить: В ответ на согласие, что случайная величина, которая является точечной массой, может рассматриваться как нормально распределенная переменная с , я изменяю свой пример. $\sigma^2=0$

Пусть и где - случайная величина . То есть каждый с вероятностью . $X \sim N(0,1)$ $Y = X \cdot (2B-1)$ $B$ ${\rm Bernoulli}(1/2)$ $Y = \pm X$ $1/2$

Сначала покажем, что имеет стандартное нормальное распределение. $Y$ По закону полной вероятности ,

P (Y \leq y) = \frac{1}{2} (P (Y \leq y | B = 1) + P (Y \leq y | B = 0))

$P(Y \leq y) = \frac{1}{2} \Big( P(Y \leq y | B = 1) + P(Y \leq y | B = 0) \Big)$

Следующий,

P (Y \leq y | B = 0) = P (- X \leq y) = 1 - P (X \leq - y) = 1 - Φ (- y) = Φ (y)

$P(Y \leq y | B = 0) = P(-X \leq y) = 1-P(X \leq -y) = 1-\Phi(-y) = \Phi(y)$

где - стандартный нормальный CDF . По аналогии, $\Phi$

P (Y \leq y | B = 1) = P (X \leq y) = Φ (y)

$P(Y \leq y | B = 1) = P(X \leq y) = \Phi(y)$

Следовательно,

P (Y \leq y) = \frac{1}{2} (Φ (y) + Φ (y)) = Φ (y)

$P(Y \leq y) = \frac{1}{2} \Big( \Phi(y) + \Phi(y) \Big) = \Phi(y)$

Итак, CDF для есть , поэтому . $Y$ $\Phi(\cdot)$ $Y \sim N(0,1)$

Теперь мы покажем, что совместно не распределены нормально. $X,Y$ Как указывает @cardinal, одной из характеристик многомерной нормы является то, что каждая линейная комбинация ее элементов нормально распределена. не имеют этого свойства, так как $X,Y$

Y + X = {\begin{cases} 2 X & if B = 1 \\ 0 & if B = 0. \end{cases}

$Y+X = \begin{cases} 2X &\mbox{if } B = 1 \\ 0 & \mbox{if } B = 0. \end{cases}$

Поэтому представляет собой смесь случайной величины и точечной массы в 0, поэтому она не может быть нормально распределена. $Y+X$ $50/50$ $N(0,4)$

— макрос
источник

Я не согласен с этим ответом. Вырожденная точечная масса при обычно считается вырожденной гауссовой случайной величиной с нулевой дисперсией. Кроме того, не являются совместно непрерывными, хотя они незначительно непрерывны. Для примера двух совместно непрерывных случайных величин, которые являются немного гауссовыми, но не совместно гауссовыми, см., Например, вторую половину этого ответа .

1

$1$

μ

$\mu$

(X, - X)

$(X, -X)$

— Дилип Сарвате

@DilipSarwate, вопрос состоял в том, чтобы привести пример (если он существует) двух переменных, которые обычно распределены, но их совместное распределение не является многомерным нормальным. Это пример. Большинство стандартных определений нормального распределения (например, wikipedia en.wikipedia.org/wiki/Normal_distribution ) требуют, чтобы дисперсия была строго положительной, и, следовательно, не включала точечную массу как часть семейства нормальных распределений.

— Макро

Стандартной характеристикой многомерного гауссова является то, что является многомерным гауссовым тогда и только тогда, когда является гауссовским для всех . Как намекает @Dilip, стоит подумать, верно ли это для вашего примера.

X \in R^{n}

$X \in \mathbb R^{n}$

a^{T} X

$a^T X$

a \in R^{n}

$a \in \mathbb R^n$

— кардинал

Поскольку вы, очевидно, не любите призывы к рациональности ;-), а как насчет обращений к власти? (Это шутка, если она не очевидна.) Я просто случайно наткнулся на это, когда искал что-то еще: Пример 2.4 , стр. 22 из GAF Seber и AJ Lee, Linear Regression Analysis , 2nd. ред., Вили. Он цитирует: «Пусть и положим ... Таким образом, имеет многомерное нормальное распределение».

Y \sim N (μ, σ^{2})

$Y \sim \mathcal N(\mu,\sigma^2)$

Y^{'} = (Y, - Y)

$\mathbf Y' = (Y, -Y)$

Y

$\mathbf Y$

— кардинал

Обсуждение об определениях. Ясно, что если ковариационная матрица по определению должна быть неособой, макрос предоставляет пример, но это не пример в соответствии с более либеральным определением, которое ссылается и @cardinal. Одна веская причина предпочесть более либеральное определение - то, что тогда все линейные преобразования нормальных переменных нормальны. В частности, в линейной регрессии с нормальными ошибками остатки имеют совместное нормальное распределение, но ковариационная матрица является сингулярной.

— NRH

Следующий пост содержит набросок доказательства, просто чтобы дать основные идеи и начать работу.

Пусть две независимые гауссовские случайные величины и пусть будет $z = (Z_1, Z_2)$ $x = (X_1, X_2)$

x = (\begin{matrix} X_{1} \\ X_{2} \end{matrix}) = (\begin{matrix} α_{11} Z_{1} + α_{12} Z_{2} \\ α_{21} Z_{1} + α_{22} Z_{2} \end{matrix}) = (\begin{matrix} α_{11} & α_{12} \\ α_{21} & α_{22} \end{matrix}) (\begin{matrix} Z_{1} \\ Z_{2} \end{matrix}) = A z .

$x = \begin{pmatrix} X_1 \\ X_2 \end{pmatrix} = \begin{pmatrix} \alpha_{11} Z_1 + \alpha_{12} Z_2\\ \alpha_{21} Z_1 + \alpha_{22} Z_2 \end{pmatrix} = \begin{pmatrix} \alpha_{11} & \alpha_{12}\\ \alpha_{21} & \alpha_{22} \end{pmatrix} \begin{pmatrix} Z_1 \\ Z_2 \end{pmatrix} = A z.$

Каждый , но так как они являются линейными комбинациями одного и того же независимого r.vs, они совместно зависимы. $X_i \sim N(\mu_i, \sigma_i^2)$

Определение Пара r.vs называется двумерной нормально распределенной, если ее можно записать в виде линейной комбинации независимой нормальной r.vs . $x = (X_1, X_2)$ $x = Az$ $z = (Z_1, Z_2)$

Лемма Если - двумерный гауссов, то любая другая их линейная комбинация снова является нормальной случайной величиной. $x = (X_1, X_2)$

Доказательство . Тривиально, пропущено, чтобы никого не обидеть.

Свойство Если некоррелированы, то они независимы и наоборот. $X_1, X_2$

Распределение $X_1 | X_2$

Предположим, что - это те же гауссовы числа, что и раньше, но давайте предположим, что они имеют положительную дисперсию и нулевое среднее значение для простоты. $X_1, X_2$

Если - это подпространство, охватываемое , пусть и . $\mathbf S$ $X_2$ $X_1^{\mathbf S} = \frac{\rho \sigma_{X_1}}{\sigma_{X_2}} X_2$ $X_1^{\mathbf S^\perp} = X_1 - X_1^{\mathbf S}$

$X_1$ и являются линейными комбинациями , поэтому тоже. Они совместно являются гауссовыми, некоррелированными (доказывают это) и независимыми. $X_2$ $z$ $X_2, X_1^{\mathbf S^\perp}$

Разложение выполняется с помощью

X_{1} = X_{1}^{S} + X_{1}^{S^{⊥}}

$X_1 = X_1^{\mathbf S} + X_1^{\mathbf S^\perp}$

E [X_{1} | X_{2}] = \frac{ρ σ_{X_{1}}}{σ_{X_{2}}} X_{2} = X_{1}^{S}

$\mathbf{E}[X_1 | X_2] = \frac{\rho \sigma_{X_1}}{\sigma_{X_2}} X_2 = X_1^{\mathbf S}$

\begin{aligned} V [X_{1} | X_{2}] & = V [X_{1}^{S^{⊥}}] \\ = E {[X_{1} - \frac{ρ σ_{X_{1}}}{σ_{X_{2}}} X_{2}]}^{2} \\ = (1 - ρ)^{2} σ_{X_{1}}^{2} . \end{aligned}

$\begin{split} \mathbf{V}[X_1 | X_2] &= \mathbf{V}[X_1^{\mathbf S^\perp}] \\ &= \mathbf{E} \left[ X_1 - \frac{\rho \sigma_{X_1}}{\sigma_{X_2}} X_2 \right]^2 \\ &= (1 - \rho)^2 \sigma^2_{X_1}. \end{split}$

Тогда

X_{1} | X_{2} \sim N (X_{1}^{S}, (1 - ρ)^{2} σ_{X_{1}}^{2}) .

$X_1 | X_2 \sim N\left( X_1^{\mathbf S}, (1 - \rho)^2 \sigma^2_{X_1} \right).$

Две одномерные гауссовские случайные величины совместно являются гауссовыми, если условия и тоже гауссовы. $X, Y$ $X | Y$ $Y|X$

— подсобный
источник

Не ясно, как это наблюдение отвечает на вопрос. Поскольку правило произведения - это практически определение условного распределения, оно не является особенным для бинормальных распределений. Последующее утверждение «тогда по порядку ...» не дает никакой причины: именно поэтому условные распределения также должны быть нормальными?

— whuber

но я отвечаю на главный вопрос: «Мне интересно, может ли быть случай, когда совместная вероятность двух гауссианцев не является гауссовой?». Итак, ответ таков: когда условное не нормально. - Вспомогательный

— Вспомогательный

Не могли бы вы завершить эту демонстрацию? Прямо сейчас это только утверждение с вашей стороны, без доказательств. Совершенно не очевидно, что это правильно. Это также неполным, потому что вы должны установить существование: то есть, вы должны продемонстрировать это на самом деле возможно для совместного распределения , чтобы иметь нормальные маргинальные , но для которых по крайней мере один условный не является нормальным. Теперь на самом деле это тривиально, потому что вы можете свободно изменять каждое условное распределение бинармы на множестве нулевой меры без изменения ее маргиналов - но эта возможность, казалось бы, противоречит вашим утверждениям.

— whuber

Привет @ whuber, я надеюсь, это поможет больше. У вас есть предложения или изменения? Я написал это очень быстро, так как на данный момент у меня не так много свободного времени :-), но я буду признателен за любые предложения или улучшения, которые вы можете сделать. Лучшее

— вспомогательное

(1) Что вы пытаетесь доказать? (2) Поскольку вопрос заключается в том, когда распределение с гауссовыми маргиналами не является совместно гауссовским, я не вижу, как этот аргумент приводит к чему-либо значимому.

— whuber