Какова интуиция за условным распределением Гаусса?

Предположим, что . Тогда условное распределение условии, что является многомерным, обычно распределяется со средним:$\mathbf{X} \sim N_{2}(\mathbf{\mu}, \mathbf{\Sigma})$$X_1$$X_2 = x_2$

$$E[P(X_1 | X_2 = x_2)] = \mu_1+\frac{\sigma_{12}}{\sigma_{22}}(x_2-\mu_2)$$

и дисперсия:

$${\rm Var}[P(X_1 | X_2 = x_2)] = \sigma_{11}-\frac{\sigma_{12}^{2}}{\sigma_{22}}$$

Имеет смысл, что дисперсия будет уменьшаться, поскольку у нас больше информации. Но какова интуиция за формулой среднего? Как ковариация между и условное среднее?$X_1$$X_2$

конспект

Каждое утверждение в вопросе можно понимать как свойство эллипсов. Только свойство частности к двумерному нормального распределения , который необходим тот факт , что в стандартном двумерное нормальное распределение --Для которого и являются некоррелированными - условная дисперсия не зависит от . (Это, в свою очередь, является прямым следствием того факта, что отсутствие корреляции подразумевает независимость для совместно нормальных переменных.)$X,Y$$X$$Y$$Y$$X$

Следующий анализ точно показывает, какое свойство эллипсов задействовано, и выводит все уравнения вопроса, используя элементарные идеи и простейшую возможную арифметику, способом, который должен легко запоминаться.

---

Циркулярно-симметричные распределения

Распределение вопроса является членом семейства двумерных нормальных распределений. Все они являются производными от базового члена, стандартного двумерного нормали, который описывает два некоррелированных стандартных распределения нормалей (образующих его две координаты).

Левая сторона представляет собой рельефный график стандартной двумерной нормальной плотности. Правая сторона показывает то же самое в псевдо-3D, с вырезанной передней частью.

Это пример циркулярно-симметричного распределения: плотность изменяется в зависимости от расстояния от центральной точки, но не от направления от этой точки. Таким образом, контуры его графика (справа) представляют собой круги.

Однако большинство других двумерных нормальных распределений не являются круговыми симметричными: их поперечные сечения являются эллипсами. Эти эллипсы моделируют характерную форму многих двумерных облаков точек.

Это портреты двумерного нормального распределения с ковариационной матрицей Это модель для данных с коэффициентом корреляции .$\Sigma = \left(\begin{array}{cc} 1 & -\frac{2}{3} \\ -\frac{2}{3} & 1 \\\end{array}\right).$$-2/3$

---

Как создавать эллипсы

Эллипс - в соответствии с его самым старым определением - это коническое сечение, представляющее собой круг, искаженный проекцией на другую плоскость. Рассматривая природу проекции, так же как и визуальные художники, мы можем разложить ее на последовательность искажений, которые легко понять и рассчитать.

Сначала растяните (или, если необходимо, сожмите) окружность вдоль того, что станет длинной осью эллипса, пока она не станет правильной длины:

Затем сожмите (или вытяните) этот эллипс вдоль его малой оси:

В-третьих, поверните его вокруг его центра в его окончательную ориентацию:

Наконец, переместите его в нужное место:

Это все аффинные преобразования. (Фактически, первые три являются линейными преобразованиями ; последний сдвиг делает их аффинными.) Поскольку композиция аффинных преобразований (по определению) все еще аффинна, чистое искажение от круга к конечному эллипсу является аффинным преобразованием. Но это может быть несколько сложно:

Обратите внимание, что случилось с (естественными) осями эллипса: после того, как они были созданы смещением и сжатием, они (конечно) вращались и смещались вместе с самой осью. Мы легко видим эти оси, даже если они не нарисованы, потому что они являются осями симметрии самого эллипса.

Мы хотели бы применить наше понимание эллипсов к пониманию искаженных циркулярно-симметричных распределений, таких как двумерное нормальное семейство. К сожалению, есть проблема с этими искажениями : они не учитывают различия между осями иВращение на шаге 3 разрушает это. Посмотрите на слабые координатные сетки на заднем плане: они показывают, что происходит с сеткой (сетки$x$$y$$1/2$в обоих направлениях) когда оно искажено. На первом изображении расстояние между исходными вертикальными линиями (показано сплошным) удваивается. На втором изображении расстояние между исходными горизонтальными линиями (показано пунктирной линией) сокращено на треть. На третьем изображении интервалы сетки не изменены, но все линии повернуты. Они сдвигаются вверх и вправо на четвертом изображении. Окончательное изображение, показывающее чистый результат, отображает эту растянутую, сжатую, повернутую, смещенную сетку. Исходные сплошные линии с постоянной координатой больше не являются вертикальными.$x$

Идея ключа --one может рискнет сказать , что это суть регрессии - это то , что есть способ , в котором круг может быть искажен в эллипс без поворота вертикальных линий . Поскольку вращение было виновником, давайте перейдем к преследованию и покажем, как создать вращаемый эллипс, фактически не вращаясь !

Это перекос трансформации. На самом деле он делает две вещи одновременно:

• Он выжимает в направлении (на величину , скажем). Это оставляет ось покое.$y$$\lambda$$x$

• Он поднимает любую результирующую точку на величину, прямо пропорциональную . Записывая эту константу пропорциональности как , это отправляет в .$(x,y)$$x$$\rho$$(x,y)$$(x, y+\rho x)$

Второй шаг поднимает ось в линию , показанную на предыдущем рисунке. Как показано на этом рисунке, я хочу работать со специальным перекосом, который эффективно поворачивает эллипс на 45 градусов и вписывает его в единицу площади. Главной осью этого эллипса является линия . Наглядно видно, что . (Отрицательные значения наклоняют эллипс вправо, а не вправо.) Это геометрическое объяснение «регрессии к среднему».$x$$y=\rho x$$y=x$$|\rho| \le 1$$\rho$

Выбор угла в 45 градусов делает эллипс симметричным относительно диагонали квадрата (часть линии ). Чтобы выяснить параметры этого перекоса, соблюдайте:$y=x$

• Подъем на перемещает точку$\rho x$$(1,0)$$(1,\rho)$

• $(\rho, 1)$

Где этот пункт начался?

• $x^2+y^2=1$$x$$\rho$$(\rho, \sqrt{1-\rho^2})$

• $(\rho, y)$$(\rho, \lambda y)$$(\rho, \lambda y + \rho\times\rho)$

$(\rho, \lambda \sqrt{1-\rho^2} + \rho^2) = (\rho, 1)$$\lambda = \sqrt{1-\rho^2}$$\rho$

$\rho$$0,$ $3/10,$ $6/10,$$9/10,$

$\rho$

---

заявка

Мы готовы сделать регресс. Стандартный, элегантный (но простой) метод для выполнения регрессии - это прежде всего выражение исходных переменных в новых единицах измерения: мы центрируем их по их средним значениям и используем их стандартные отклонения в качестве единиц измерения. Это перемещает центр распределения в начало координат и делает все его эллиптические контуры наклонными на 45 градусов (вверх или вниз).

$x$$0$$x$$0$$y$$\sqrt{1-\rho^2}$$\rho$$x$$\rho x$$x$

• $y$$0$

• $\rho x$$x$$\rho x$$y=\rho x$

$x$$y=\rho x$

$x$

Мы можем легко сказать больше:

• $(X,Y)$$Y|X$$\left(\sqrt{1-\rho^2}\right)^2 = 1 - \rho^2$

• $\sqrt{1-\rho^2}$$\rho x$

$1$$x$$1-\rho^2$

$\rho$$\Sigma$$X$$Y$$XY$$X$$Y$$(X,Y)$

$$\varepsilon = Y - \rho X$$

$\varepsilon$$0$$Y$$0$$\rho X$$\rho X$

$x$$\rho = -1/2$

вследствие этого

$$\mathbb{E}(XY) = \mathbb{E}\left(X(\rho X + \varepsilon)\right) = \rho\mathbb{E}(X^2) + \mathbb{E}(X\varepsilon) = \rho(1) + 0=\rho.$$

$X$$1$$X\varepsilon$$X(-\varepsilon)$$\varepsilon$$0$

$\rho$$X$$Y$

---

Выводы

$x$$(X,Y)$$x$$y$$\mu_x$$\mu_y$$\sigma_x$$\sigma_y$

• $(\mu_x,\mu_y)$

• $\{(x, \rho x)\},$

• $\rho$$\sigma_y \rho / \sigma_x$

Следовательно, уравнение линии регрессии

$$y = \frac{\sigma_y\rho}{\sigma_x}\left(x - \mu_x\right) + \mu_y.$$

• $Y|X$$\sigma_y^2(1-\rho^2)$$Y'|X'$$(X',Y')$$X'=(X-\mu_X)/\sigma_x$$Y'=(Y-\mu_Y)/\sigma_Y$

$Y'|X'$$1$

• $\Sigma$$\sigma_{11}=\sigma_x^2,$ $\sigma_{12}=\sigma_{21}=\rho\sigma_x\sigma_y,$$\sigma_{22}=\sigma_y^2,$$Y|X$

$$\sigma_y^2(1-\rho^2)=\sigma_{22}\left(1-\left(\frac{\sigma_{12}}{\sqrt{\sigma_{11}\sigma_{22}}}\right)^2\right)=\sigma_{22} - \frac{\sigma_{12}^2}{\sigma_{11}}.$$

---

Технические примечания

$y$

$$\left(\begin{array}{cc} 1 & \rho \\ \rho & 1 \\\end{array}\right) = \mathbb{A}\mathbb{A}'$$

где

$$\mathbb{A} = \left(\begin{array}{cc} 1 & 0 \\ \rho & \sqrt{1-\rho^2} \\\end{array}\right).$$

Намного лучше известен квадратный корень, который описан вначале (с вращением вместо перекоса); это тот, который создается разложением по единственному значению, и он играет важную роль в анализе главных компонентов (PCA):

$$\left(\begin{array}{cc} 1 & \rho \\ \rho & 1 \\\end{array}\right) = \mathbb{B}\mathbb{B}';$$

$$\mathbb{B} = \mathbb{Q} \left( \begin{array}{cc} \sqrt{\rho +1} & 0 \\ 0 & \sqrt{1-\rho } \\ \end{array} \right)\mathbb{Q}'$$

$\mathbb{Q} = \left( \begin{array}{cc} \frac{1}{\sqrt{2}} & -\frac{1}{\sqrt{2}} \\ \frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} \\ \end{array} \right)$$45$

Таким образом, различие между PCA и регрессией сводится к разнице между двумя особыми квадратными корнями матрицы корреляции.

$Y$$X=x_i$$X$$X_1$$X_2$$0$$X_2$$x_1$где вы «разрезаете» многомерное распределение. Посмотрите на рисунок ниже:

$X_1$$X_2$$X_2$$X_1$$\mu_{X_2|X_1=25}\ne\mu_{X_2|X_1=45}$,

$\sigma_{22}$$\Sigma$$X_2$$\sigma^2$$\sigma$

$\hat y_i$

$$\hat\beta_1=\frac{\text{Cov}(x,y)}{\text{Var}(x)}$$ $^{\sigma_{12}}/_{\sigma_{22}}$$\mu_{X_2|X_1=x_i}$$\mu_{X_2}$$\mu_{X_2}$ $x_{2i}$$X_1$$X_2$

Ответ Гунга хороший (+1). Однако есть и другой способ взглянуть на это. Представьте, что ковариация между и должна быть положительной. Что это значит для ? Ну, это означает, что когда выше среднего значения , имеет тенденцию быть выше среднего значения , и наоборот .$X_1$$X_2$$\sigma_{1,2}>0$$X_2$$X_2$$X_1$$X_1$

Теперь предположим, что я сказал вам, что . То есть, предположим, я говорил вам, что выше среднего значения. Разве вы не пришли бы к выводу, что , вероятно, выше его среднего значения (поскольку вы знаете и знаете, что означает ковариация)? Итак, теперь, если вы возьмете среднее значение , зная, что выше среднего значения , вы получите число выше среднего значения . Вот что говорит формула: Если ковариация положительна и$X_2=\mathit{x}_2>\mu_2$$X_2$$X_1$$\sigma_{1,2}>0$$X_1$$X_2$$X_2$$X_1$

$$\begin{equation} E\{X_1 | X_2=\mathit{x}_2\} = \mu_1 + \frac{\sigma_{1,2}}{\sigma_{2,2}}\left( \mathit{x}_2-\mu_2\right) \end{equation}$$ $X_2$выше среднего, то . $E\{X_1 | X_2=\mathit{x}_2\} > \mu_1$

Условное ожидание принимает форму выше для нормального распределения, а не для всех распределений. Это кажется немного странным, учитывая, что рассуждения в параграфе выше кажутся довольно убедительными. Однако (почти) независимо от распределения и эта формула : Где означает лучший линейный предиктор. Нормальное распределение особенное в том, что условное ожидание и лучший линейный предиктор - это одно и то же.$X_1$$X_2$

$$\begin{equation} BLP\{X_1 | X_2=\mathit{x}_2\} = \mu_1 + \frac{\sigma_{1,2}}{\sigma_{2,2}}\left( \mathit{x}_2-\mu_2\right) \end{equation}$$ $BLP$