Почему знаменатель оценки ковариации не должен быть n-2, а не n-1?

36

Знаменатель (несмещенной) оценки дисперсии равен поскольку имеется наблюдений и оценивается только один параметр. $n-1$ $n$

V (X) = \frac{\sum_{i = 1}^{n} {(X_{i} - \bar{X})}^{2}}{n - 1}

$\mathbb{V}\left(X\right)=\frac{\sum_{i=1}^{n}\left(X_{i}-\overline{X}\right)^{2}}{n-1}$

Кроме того, мне интересно, почему знаменатель ковариации не должен быть когда оцениваются два параметра? $n-2$

C o v (X, Y) = \frac{\sum_{i = 1}^{n} (X_{i} - \bar{X}) (Y_{i} - \bar{Y})}{n - 1}

$\mathbb{Cov}\left(X, Y\right)=\frac{\sum_{i=1}^{n}\left(X_{i}-\overline{X}\right)\left(Y_{i}-\overline{Y}\right)}{n-1}$

— MYaseen208
источник

15

Если вы сделали это, вы бы два противоречащих друг другу определений дисперсии: одна будет первая формула , а другой будет вторая формула применяется при .

Y = X

$Y=X$

— whuber

3

Среднее / многомерное среднее (ожидание) - это один, а не 2 параметра.

— ttnphns

14

@ttnphns Это не так: двумерное среднее, очевидно, имеет два параметра, поскольку для его выражения требуется два действительных числа. (Действительно, это единственный параметр вектора , но это говорит только о том, что он имеет два компонента.) Это явно проявляется в степенях свободы для t-тестов с объединенной дисперсией, например, где вычитается

2

$2$ , а не

1

$1$ . Что интересно в этом вопросе, так это то, как он показывает, насколько расплывчато, неуклюже и потенциально вводит в заблуждение общее «объяснение» того, что мы вычитаем

1

$1$ из

n

$n$ потому что один параметр был оценен.

— whuber

@whuber, Вы правы в этом. Если бы это было только

(независимые наблюдения), что имеет значение, мы бы не потратили больше df в многомерных тестах, чем в одномерных.

n

$n$

— ttnphns

3

@whuber: Я бы сказал, что это показывает, что то, что считается «параметром», зависит от ситуации. В этом случае дисперсия вычисляется по наблюдениям, $n$ поэтому каждое наблюдение - или общее среднее - можно рассматривать как один параметр, даже если это многовариантное среднее, как сказал ttnphns. Однако в других случаях, когда, например, тест рассматривает линейные комбинации измерений, каждое измерение каждого наблюдения становится «параметром». Вы правы, что это сложная проблема.

— говорит амеба: восстанови Монику

31

Ковариации - это дисперсии.

Так как по поляризационной идентичности

Cov (X, Y) = Var (\frac{X + Y}{2}) - Var (\frac{X - Y}{2}),

$\newcommand{\c}{\text{Cov}}\newcommand{\v}{\text{Var}} \c(X,Y) = \v\left(\frac{X+Y}{2}\right) - \v\left(\frac{X-Y}{2}\right),$

знаменатели должны быть одинаковыми.

— Whuber
источник

20

Особый случай должен дать вам интуицию; подумайте о следующем:

\hat{C o v} (X, X) = \hat{V} (X)

$\hat{\mathbb{Cov}}\left(X, X\right)= \hat{\mathbb{V}}\left(X\right)$

Вы счастливы, что последний из-за поправки Бесселя. $\frac{\sum_{i=1}^{n}\left(X_{i}-\overline{X}\right)^{2}}{n-1}$

Но заменив на в для бывшей дает $Y$ $X$ $\hat{\mathbb{Cov}}\left(X, Y\right)$ , так что вы думаете, что лучше всего заполнить пробел? $\frac{\sum_{i=1}^{n}\left(X_{i}-\overline{X}\right)\left(X_{i}-\overline{X}\right)}{\text{mystery denominator}}$

— тарпон
источник

1

ХОРОШО. Но ОП может спросить: «Почему считать, что cov (X, X) и cov (X, Y) находятся в одной строке логики? Почему вы заменяете Y на X в cov () легкомысленно? Может быть, cov (X, Y) это другая ситуация? " Вы не предотвратили это, хотя ответ (высоко одобренный) должен иметь, по моему

— мнению

7

Быстрый и грязный ответ ... Давайте сначала рассмотрим ; если бы у вас было наблюдений с известным ожидаемым значением вы бы использовали $\text{var}(X)$ $n$ $E(X) = 0$ для оценки дисперсии. ${1\over n}\sum_{i=1}^n X_i^2$

Ожидаемое значение неизвестно, вы можете преобразовать свои наблюдений в наблюдений с известным ожидаемым значением, взяв для . Вы получите формулу с в знаменателе - однако не являются независимыми, и вам придется принять это во внимание; в конце вы найдете обычную формулу. $n$ $n-1$ $A_i = X_i - X_1$ $i = 2, \dots,n$ $n-1$ $A_i$

Теперь для ковариации вы можете использовать ту же идею: если бы ожидаемое значение было , у вас было бы $(X,Y)$ $(0,0)$ в формуле. Вычитаявсех других наблюдаемых значений, вы получаетенаблюдений с известным ожидаемым значением ... и ${1\over n}$ $(X_1,Y_1)$ $n-1$ в формуле - еще раз, это вводит некоторую зависимость для учета. ${1\over n-1}$

PS Простой способ сделать это - выбрать ортонормированный базис из , то есть векторов таких, что $\big\langle (1, \dots, 1)' \big\rangle^{\perp}$ $n-1$ $c_1, \dots, c_{n-1} \in \mathbb R^n$

для всех , $\sum_j c_{ij}^2 = 1$ $i$
для всех , $\sum_j c_{ij} = 0$ $i$
для всех . $\sum_j c_{i_1j} c_{i_2j} = 0$ $i_1 \ne i_2$

Затем вы можете определить переменные и . независимы, имеют ожидаемое значение , и имеют одинаковую дисперсию / ковариации , чем исходных переменных. $n-1$ $A_i = \sum_j c_{ij} X_j$ $B_i = \sum_j c_{ij} Y_j$ $(A_i,B_i)$ $(0,0)$

Все дело в том, что если вы хотите избавиться от неизвестного ожидания, вы отбрасываете одно (и только одно) наблюдение. Это работает одинаково для обоих случаев.

— Элвис
источник

6

Вот доказательство того, что ковариационная оценка выборки p-вариатора со знаменателем - несмещенная оценка ковариационной матрицы: $\frac{1}{n-1}$

. $x' = (x_1,...,x_p)$

$\Sigma= E((x-\mu)(x-\mu)')$

$S = \frac{1}{n} \sum (x_i - \bar{x})(x_i - \bar{x})'$

Показать: $E(S) = \frac{n-1}{n}\Sigma$

Доказательство: $S= \frac{1}{n}\sum x_ix_i' - \bar{x}\bar{x}'$

(2) $E(\bar{x}\bar{x}') = \frac{1}{n} \Sigma+ \mu\mu'$

Therefore: $E(S) = \Sigma + \mu\mu' - (\frac{1}{n} \Sigma+ \mu\mu') = \frac{n-1}{n} \Sigma$

And so $S_u = \frac{n}{n-1}S$ , with the final denominator $\frac{1}{n-1}$ , is unbiased. The off-diagonal elements of $S_u$ are your individual sample covariances.

Additional remarks:

The n draws are independent. This is used in (2) to calculate the covariance of the sample mean.
Step (1) and (2) use the fact that $Cov(x)= E[xx']-\mu\mu'$
Step (2) uses the fact that $Cov(\bar{x})= \frac{1}{n}\Sigma$

— statchrist
источник

The difficulty being in step 2 ! :)

— Elvis

@Elvis It's messy. One needs to apply the rule Cov(X+Y,Z)=Cov(X,Z) + Cov(Y,Z) and recognize that the different draws are independent. Then it's basically summing up the covariance n times and scaling it down by 1/n²

— statchrist

4

I guess one way to build intuition behind using 'n-1' and not 'n-2' is - that for calculating co-variance we do not need to de-mean both X and Y, but either of the two, i.e.

$\sum (X-\mu_x)(Y - \mu_y) = \sum (X-\mu_x)Y \ \ \ or \ \ \ \sum (Y-\mu_y)X$

— Uditg_ucla
источник

Could you elaborate on how this bears on the question of what denominator to use? The algebraic relation in evidence derives from the fact that the residuals relative to the mean sum to zero, but otherwise is silent about which denominator is relevant.

— whuber

5

I came here because I had the same question as the OP. I think this answer gets at the nub of the point @whuber pointed out above: that the rule of thumb is that df ~= n - (parameters estimated) can be "vague, unrigorous, and potentially misleading." This points out the fact that though it looks like you need to estimate two parameters (xbar and ybar), you really only estimate one (xbar or ybar). Since the df should be the same in both cases, it must be the lower of the two. I think that is the intent here.

— mpettis

1

1) Start $df=2n$ .

2) Sample covariance is proportional to $\Sigma_{i=1}^n(X_i-\bar{X})(Y_i-\bar{Y})$ . Lose two $df$ ; one from $\bar{X}$ , one from $\bar{Y}$ resulting in $df=2(n-1)$ .

3) However, $\Sigma_{i=1}^n(X_i-\bar{X})(Y_i-\bar{Y})$ only contains $n$ separate terms, one from each product. When two numbers are multiplied together the independent information from each separate number disappears.

As a trite example, consider that

$24=1*24=2*12=3*8=4*6=6*4=8*3=12*2=24*1$ ,

and that does not include irrationals and fractions, e.g. $24=2\sqrt{6}*2\sqrt{6}$ , so that when we multiply two number series together and examine their product, all we see are the $df=n-1$ from one number series, as we have lost half of the original information, that is, what those two numbers were before the pair-wise grouping into one number (i.e., multiplication) was performed.

In other words, without loss of generality we can write

$(X_i-\bar{X})(Y_i-\bar{Y})=z_i-\bar{z}$ for some $z_i$ and $\bar{z}$ ,

i.e., $z_i=X_iY_i-\bar{X}Y_i-X_i\bar{Y}$ , and, $\bar{z}=\bar{X}\bar{Y}$ . From the $z$ 's, which then clearly have $df=n-1$ , the covariance formula becomes

$\Sigma_{i=1}^n\frac{z_i-\bar{z}}{n-1}=$

$\Sigma_{i=1}^n\frac{[(X_i-\bar{X})(Y_i-\bar{Y})]}{n-1}=$

$\frac{1}{n-1}\Sigma_{i=1}^n(X_i-\bar{X})(Y_i-\bar{Y})$ .

Thus, the answer to the question is that the $df$ are halved by grouping.

— Carl
источник

@whuber How on earth did I get the same thing posted twice and deleted once? What gives? Can we get rid of one of them? For future reference, is there any way to permanently delete such duplicates? I have a few hanging around and it's annoying.

— Carl

As far as I can tell, you reposted your answer from the duplicate to here. (Nobody else has the power to post answers in your name.) The system strongly discourages posting identical answers in multiple threads, so when I saw that, it convinced me these two threads are perfect duplicates and I "merged" them. This is a procedure that moves all comments and answers from the source thread to the target thread. I then deleted your duplicate post here in the target thread. It will remain permanently deleted, but will be visible to you as well as to people of sufficiently high reputation.

— whuber

@whuber I didn't know what happens in a merge, that a merge was taking place or what many of the rules are, despite looking things up constantly. It takes time to learn, be patient, BTW, would you consider taking stats.stackexchange.com/questions/251700/… off of Hold?

— Carl