Как работает формула для генерации коррелированных случайных величин?

19

Если у нас есть 2 нормальные некоррелированные случайные величины то мы можем создать 2 коррелированные случайные величины с формулой $X_1, X_2$

$Y=\rho X_1+ \sqrt{1-\rho^2} X_2$

и тогда у будет корреляция с . $Y$ $\rho$ $X_1$

Может кто-нибудь объяснить, откуда взялась эта формула?

correlation normal-distribution covariance

— Lanza
источник

1

Подробное обсуждение этого и связанных с ним вопросов содержится в моем ответе по адресу stats.stackexchange.com/a/71303 . Среди прочего, ясно, что (1) предположение о нормальности не имеет значения и (2) вам необходимо сделать дополнительные предположения: дисперсии и должны быть равными, чтобы корреляция с была .

X_{1}

$X_1$

X_{2}

$X_2$

Y

$Y$

X_{1}

$X_1$

ρ

$\rho$

— whuber

Очень интересная ссылка. Я не уверен, что понимаю, что вы подразумеваете под нормальностью, что не имеет значения. Если или не является нормальным, и становится сложнее контролировать плотность помощью алгоритма Кайзера-Дикмана. В этом вся причина того, что специализированные алгоритмы генерируют ненормальные коррелированные данные (например, Headrick, 2002; Ruscio & Kaczetow, 2008; Vale & Maurelli, 1983). Например, представьте, что ваша цель состоит в том, чтобы генерировать ~ normal, ~iform с = .5. Используя ~ однородные результаты в , который не является равномерным ( заканчивает тем , что линейная комбинация нормальной и равномерной).

X_{1}

$X_1$

X_{2}

$X_2$

Y

$Y$

X

$X$

Y

$Y$

ρ

$\rho$

X_{2}

$X_2$

Y

$Y$

Y

$Y$

— Энтони

@Anthony Вопрос только о корреляции , которая является функцией только первого и второго моментов. Ответ не зависит от каких-либо других свойств распределений. То, что вы обсуждаете, это совсем другая тема.

— whuber

17

Предположим, вы хотите найти линейную комбинацию и такую, что $X_1$ $X_2$

corr (α X_{1} + β X_{2}, X_{1}) = ρ

$\text{corr}(\alpha X_1 + \beta X_2, X_1) = \rho$

Обратите внимание, что если вы умножите и и на одну и ту же (ненулевую) константу, корреляция не изменится. Таким образом, мы собираемся добавить условие для сохранения дисперсии: $\alpha$ $\beta$ $\text{var}(\alpha X_1 + \beta X_2) = \text{var}(X_1)$

Это эквивалентно

ρ знак равно \frac{сОУ (α {Икс}_{1} + β {Икс}_{2}, {Икс}_{1})}{\sqrt{вар (α {Икс}_{1} + β {Икс}_{2}) вар ({Икс}_{1})}} знак равно \frac{α \overset{знак равно вар ({Икс}_{1})}{\overset{⏞}{сОУ ({Икс}_{1}, {Икс}_{1})}} + \overset{знак равно 0}{\overset{⏞}{β сОУ ({Икс}_{2}, {Икс}_{1})}}}{\sqrt{вар (α {Икс}_{1} + β {Икс}_{2}) вар ({Икс}_{1})}} знак равно α \sqrt{\frac{вар ({Икс}_{1})}{α^{2} вар ({Икс}_{1}) + β^{2} вар ({Икс}_{2})}}

$\rho = \frac{\text{cov}(\alpha X_1 + \beta X_2, X_1)}{\sqrt{\text{var}(\alpha X_1 + \beta X_2) \text{var}(X_1)}} = \frac{\alpha \overbrace{\text{cov}(X_1, X_1)}^{=\text{var}(X_1)} + \overbrace{\beta \text{cov}(X_2, X_1)}^{=0}}{\sqrt{\text{var}(\alpha X_1 + \beta X_2) \text{var}(X_1)}} = \alpha \sqrt{\frac{\text{var}(X_1)}{\alpha^2 \text{var}(X_1) + \beta^2 \text{var}(X_2)}}$

Предполагая, что обе случайные величины имеют одинаковую дисперсию (это принципиальное предположение!) ( ), мы получаем $\text{var}(X_1) = \text{var}(X_2)$

ρ \sqrt{α^{2} + β^{2}} знак равно α

$\rho \sqrt{\alpha^2 + \beta^2} = \alpha$

Существует много решений для этого уравнения, поэтому пришло время вспомнить условие сохранения дисперсии:

var ({Икс}_{1}) знак равно вар (α {Икс}_{1} + β {Икс}_{2}) знак равно α^{2} вар ({Икс}_{1}) + β^{2} вар ({Икс}_{2}) \Rightarrow α^{2} + β^{2} знак равно 1

$\text{var}(X_1) = \text{var}(\alpha X_1 + \beta X_2) = \alpha^2 \text{var}(X_1) + \beta^2 \text{var}(X_2) \Rightarrow \alpha^2 + \beta^2 = 1$

И это приводит нас к

α знак равно ρ β знак равно \pm \sqrt{1 - ρ^{2}}

$\alpha = \rho \\ \beta = \pm \sqrt{1-\rho^2}$

UPD . Что касается второго вопроса: да, это известно как отбеливание .

— Артем Соболев
источник

9

Уравнение представляет собой упрощенную двумерную форму разложения Холецкого . Это упрощенное уравнение иногда называют алгоритмом Кайзера-Дикмана (Kaiser & Dickman, 1962).

Обратите внимание, что и должны иметь одинаковую дисперсию, чтобы этот алгоритм работал правильно. Кроме того, алгоритм обычно используется с обычными переменными. Если или не являются нормальными, может не иметь той же формы распределения, что и . $X_1$ $X_2$ $X_1$ $X_2$ $Y$ $X_2$

Ссылки:

Kaiser, HF, & Dickman, K. (1962). Матрица выборки и оценки популяции и выборочные матрицы корреляции из произвольной матрицы корреляции населения. Психометрика, 27 (2), 179-182.

— Энтони
источник

2

Я полагаю, вам не нужны стандартизированные нормальные переменные, достаточно иметь одну и ту же дисперсию.

— Артем Соболев

2

Нет, распределение является не смесь распределения , как вы утверждаете.

Y

$Y$

— Дилип Сарвате

Точка занята, @Dilip Sarwate. Если или ненормальны, то становится линейной комбинацией двух переменных, которая может не привести к желаемому распределению. Это является причиной специализированных алгоритмов (вместо Кайзера-Дикмана) для генерируемых ненормальных коррелированных данных.

X_{1}

$X_1$

X_{2}

$X_2$

Y

$Y$

— Энтони

3

Коэффициент корреляции - это между двумя рядами, если они рассматриваются как векторы (с точкой данных, равной измерению вектора). Приведенная выше формула просто создает разложение вектора на его компоненты , (относительно ). если , то . $\cos$ $n^{th}$ $n^{th}$ $\cos\theta$ $sin\theta$ $X_1,X_2$
$\rho = cos \theta$ $\sqrt{1-{\rho}^2}=\pm sin \theta$

Поскольку, если не коррелированы, угол между ними является прямым углом (т. Е. Они могут рассматриваться как ортогональные, хотя и ненормализованные базисные векторы). $X_1, X_2$

— Дмитрий Рубанович
источник

2

Добро пожаловать на наш сайт! Я полагаю, что вашему посту будет уделено больше внимания, если вы пометите математические выражения с помощью : заключите их в знаки доллара. При редактировании доступна помощь.

T E X

$\TeX$

— whuber