Значит ли центрирование уменьшать ковариацию?

11

Предполагая, что у меня есть две независимые случайные величины, и я хочу максимально уменьшить ковариацию между ними, не теряя слишком много «сигнала», поможет ли центрирование? Я где-то читал, что среднее значение центрирования уменьшает корреляцию значительным фактором, поэтому я думаю, что для ковариации должно быть то же самое.

correlation covariance random-vector

— LVDP
источник

30

Если и - случайные величины, а и - постоянные, то Центрирование - это особый случай и , поэтому центрирование не влияет на ковариацию. $X$ $Y$ $a$ $b$

\begin{aligned} Cov (X + a, Y + b) & = E [(X + a - E [X + a]) (Y + b - E [Y + b])] \\ = E [(X + a - E [X] - E [a]) (Y + b - E [Y] - E [b])] \\ = E [(X + a - E [X] - a) (Y + b - E [Y] - b)] \\ = E [(X - E [X]) (Y - E [Y])] \\ = Cov (X, Y) . \end{aligned}

$\begin{aligned} \operatorname{Cov}(X + a, Y + b) &= E[(X + a - E[X + a])(Y + b - E[Y + b])] \\ &= E[(X + a - E[X] - E[a])(Y + b - E[Y] - E[b])] \\ &= E[(X + a - E[X] - a)(Y + b - E[Y] - b)] \\ &= E[(X - E[X])(Y - E[Y])] \\ &= \operatorname{Cov}(X, Y). \end{aligned}$

a = - E [X]

$a = -E[X]$

b = - E [Y]

$b = -E[Y]$

Кроме того, поскольку корреляция определяется как мы можем видеть, что поэтому, в частности, центрирование также не влияет на корреляцию.

Corr (X, Y) = \frac{Cov (X, Y)}{\sqrt{Var (X) Var (Y)}},

$\operatorname{Corr}(X, Y) = \frac{\operatorname{Cov}(X, Y)}{\sqrt{\operatorname{Var}(X) \operatorname{Var}(Y)}},$

\begin{aligned} Corr (X + a, Y + b) & = \frac{Cov (X + a, Y + b)}{\sqrt{Var (X + a) Var (Y + b)}} \\ = \frac{Cov (X, Y)}{\sqrt{Var (X) Var (Y)}}, \end{aligned}

$\begin{aligned} \operatorname{Corr}(X + a, Y + b) &= \frac{\operatorname{Cov}(X + a, Y + b)}{\sqrt{\operatorname{Var}(X + a) \operatorname{Var}(Y + b)}} \\ &= \frac{\operatorname{Cov}(X, Y)}{\sqrt{\operatorname{Var}(X) \operatorname{Var}(Y)}}, \end{aligned}$

Это была демографическая версия истории. Пример версии такой же: если мы используем как наша оценка ковариации между и из парной выборки , затем

\hat{Cov} (X, Y) = \frac{1}{n} \sum_{i = 1}^{n} (X_{i} - \frac{1}{n} \sum_{j = 1}^{n} X_{j}) (Y_{i} - \frac{1}{n} \sum_{j = 1}^{n} Y_{j})

$\widehat{\operatorname{Cov}}(X, Y) = \frac{1}{n} \sum_{i=1}^n \left(X_i - \frac{1}{n}\sum_{j=1}^n X_j\right)\left(Y_i - \frac{1}{n}\sum_{j=1}^n Y_j\right)$

X

$X$

Y

$Y$

(X_{1}, Y_{1}), \dots, (X_{n}, Y_{n})

$(X_1,Y_1), \ldots, (X_n,Y_n)$

\begin{aligned} \hat{Cov} (X + a, Y + b) & = \frac{1}{n} \sum_{i = 1}^{n} (X_{i} + a - \frac{1}{n} \sum_{j = 1}^{n} (X_{j} + a)) (Y_{i} + b - \frac{1}{n} \sum_{j = 1}^{n} (Y_{j} + b)) \\ = \frac{1}{n} \sum_{i = 1}^{n} (X_{i} + a - \frac{1}{n} \sum_{j = 1}^{n} X_{j} - \frac{n}{n} a) (Y_{i} + b - \frac{1}{n} \sum_{j = 1}^{n} Y_{j} - \frac{n}{n} b) \\ = \frac{1}{n} \sum_{i = 1}^{n} (X_{i} - \frac{1}{n} \sum_{j = 1}^{n} X_{j}) (Y_{i} - \frac{1}{n} \sum_{j = 1}^{n} Y_{j}) \\ = \hat{Cov} (X, Y) \end{aligned}

$\begin{aligned} \widehat{\operatorname{Cov}}(X + a, Y + b) &= \frac{1}{n} \sum_{i=1}^n \left(X_i + a - \frac{1}{n}\sum_{j=1}^n (X_j + a)\right)\left(Y_i + b - \frac{1}{n}\sum_{j=1}^n (Y_j + b)\right) \\ &= \frac{1}{n} \sum_{i=1}^n \left(X_i + a - \frac{1}{n}\sum_{j=1}^n X_j - \frac{n}{n} a\right)\left(Y_i + b - \frac{1}{n}\sum_{j=1}^n Y_j - \frac{n}{n} b\right) \\ &= \frac{1}{n} \sum_{i=1}^n \left(X_i - \frac{1}{n}\sum_{j=1}^n X_j\right)\left(Y_i - \frac{1}{n}\sum_{j=1}^n Y_j\right) \\ &= \widehat{\operatorname{Cov}}(X, Y) \end{aligned}$ для любые и .

a

$a$

b

$b$

— Артем Маврин
источник

спасибо за подробный ответ. Означает ли это, что для ковариации выборки размер выборки также не оказывает влияния? т.е. уменьшение размера выборки не уменьшает ковариацию выборки?

— LVDP

3

@lvdp Вероятно, это должен быть отдельный вопрос.

— Накопление

Уменьшенный размер выборки может идти только с другой выборкой. Поэтому другой образец может показывать другую ковариацию. Но поскольку ковариация выборки определяется как средняя, размер выборки в принципе масштабируется.

— Ник Кокс

5

Определением ковариации и является . Выражение в этой формуле является центрированным вариантом . Таким образом, мы уже центрируем когда берем ковариацию, а центрирование является идемпотентным оператором; как только переменная отцентрирована, дальнейшее применение процесса центрирования не изменит его. Если бы формула не принимала центрированные версии переменных, то были бы все виды странных эффектов, таких как ковариация между температурой и другой переменной, отличающаяся в зависимости от того, измеряем ли мы температуру в градусах Цельсия или Кельвинах. $X$ $Y$ $E[(X-E[X])(Y-E[Y])]$ $X-E[X]$ $X$ $X$

— Acccumulation
источник

3

«где-то» имеет тенденцию быть довольно ненадежным источником ...

Ковариация / корреляция определяются с явным центрированием . Если вы не центрируете данные, то вы не вычисляете ковариацию / корреляцию. (Точно: корреляция Пирсона)

Основное различие заключается в том, центрируетесь ли вы на основе теоретической модели (например, предполагаемое значение должно быть точно 0) или на основе данных (среднее арифметическое). Легко видеть, что среднее арифметическое даст меньшую ковариацию, чем любой другой центр.

Однако меньшая ковариация не подразумевает меньшую корреляцию или противоположность. Предположим, что у нас есть данные X = (1,2) и Y = (2,1). Легко видеть, что при центрировании арифметического среднего это даст совершенно отрицательную корреляцию, в то время как если мы знаем, что процесс генерации в среднем дает 0, данные фактически положительно коррелируют. Таким образом, в этом примере мы центрируемся - но с теоретическим ожидаемым значением 0.

Это может возникнуть легко. Предположим, у нас есть сенсорная матрица 11x11 с ячейками с номерами от -5 до +5. Вместо того, чтобы принимать среднее арифметическое, имеет смысл использовать «физическое» среднее значение нашего массива датчиков при поиске корреляции событий датчиков (если бы мы перечислили ячейки от 0 до 10, мы бы использовали 5 в качестве фиксированного среднего, и мы получим точно такие же результаты, так что выбор индексации исчезнет из анализа - хорошо).

— ВЫЙТИ - Anony-Mousse
источник

Спасибо @ Anony-Mousse, будет ли ковариация выборки зависеть от размера выборки? Т.е. меньший размер выборки даст меньшую ковариацию (до центрирования).

— LVDP

1

Зависит от образца, очевидно. В среднем - я не знаю. Я ожидаю, что меньшие выборки в основном будут иметь большую изменчивость, поэтому, возможно, чаще более экстремальные значения. Но это только интуиция.

— ВЫЙТИ - Anony-Mousse