Докажите эквивалентность следующих двух формул для корреляции Спирмена

Из википедии ранговая корреляция Спирмена рассчитывается путем преобразования переменных и в ранжированные переменные и , а затем расчета корреляции Пирсона между ранговыми переменными:$X_i$$Y_i$$x_i$$y_i$

Однако в статье утверждается, что если между переменными и нет связей , приведенная выше формула эквивалентна$X_i$$Y_i$

где $d_i = y_i - x_i$ , разница в званиях.

Может кто-нибудь дать подтверждение этому, пожалуйста? У меня нет доступа к учебникам, на которые ссылается статья в Википедии.

$\rho = \frac{\sum_i(x_i-\bar{x})(y_i-\bar{y})}{\sqrt{\sum_i (x_i-\bar{x})^2 \sum_i(y_i-\bar{y})^2}}$

Поскольку связи отсутствуют, и состоят из целых чисел от до включительно.у 1 $x$$y$$1$$n$

Следовательно, мы можем переписать знаменатель:

$\frac{\sum_i(x_i-\bar{x})(y_i-\bar{y})}{\sum_i (x_i-\bar{x})^2}$

Но знаменатель - это просто функция от :$n$

$\sum_i (x_i-\bar{x})^2 = \sum_i x_i^2 - n\bar{x}^2 \\ \quad= \frac{n(n + 1)(2n + 1)}{6} - n(\frac{(n + 1)}{2})^2\\ \quad= n(n + 1)(\frac{(2n + 1)}{6} - \frac{(n + 1)}{4})\\ \quad= n(n + 1)(\frac{(8n + 4-6n-6)}{24})\\ \quad= n(n + 1)(\frac{(n -1)}{12})\\ \quad= \frac{n(n^2 - 1)}{12}$

Теперь давайте посмотрим на числитель:

$\sum_i(x_i-\bar{x})(y_i-\bar{y})\\ \quad=\sum_i x_i(y_i-\bar{y})-\sum_i\bar{x}(y_i-\bar{y}) \\ \quad=\sum_i x_i y_i-\bar{y}\sum_i x_i-\bar{x}\sum_iy_i+n\bar{x}\bar{y} \\ \quad=\sum_i x_i y_i-n\bar{x}\bar{y} \\ \quad= \sum_i x_i y_i-n(\frac{n+1}{2})^2 \\ \quad= \sum_i x_i y_i- \frac{n(n+1)}{12}3(n +1) \\ \quad= \frac{n(n+1)}{12}.(-3(n +1))+\sum_i x_i y_i \\ \quad= \frac{n(n+1)}{12}.[(n-1) - (4n+2)] + \sum_i x_i y_i \\ \quad= \frac{n(n+1)(n-1)}{12} - n(n+1)(2n+1)/6 + \sum_i x_i y_i \\ \quad= \frac{n(n+1)(n-1)}{12} -\sum_i x_i^2+ \sum_i x_i y_i \\ \quad= \frac{n(n+1)(n-1)}{12} -\sum_i (x_i^2+ y_i^2)/2+ \sum_i x_i y_i \\ \quad= \frac{n(n+1)(n-1)}{12} - \sum_i (x_i^2 - 2x_i y_i + y_i^2) /2\\ \quad= \frac{n(n+1)(n-1)}{12} - \sum_i(x_i - y_i)^2/2\\ \quad= \frac{n(n^2-1)}{12} - \sum d_i^2/2$

Числитель / Знаменатель

$= \frac{n(n+1)(n-1)/12 - \sum d_i^2/2}{n(n^2 - 1)/12}\\ \quad= {\frac {n(n^2 - 1)/12 -\sum d_i^2/2}{n(n^2 - 1)/12}}\\ \quad= 1- {\frac {6 \sum d_i^2}{n(n^2 - 1)}}\,$ .

следовательно

$\rho = 1- {\frac {6 \sum d_i^2}{n(n^2 - 1)}}.$

Мы видим, что во второй формуле появляется евклидово расстояние в квадрате между двумя (ранжированными) переменными: . Решающей интуицией в начале будет то, как может быть связан с . Это ясно связано с помощью теоремы косинуса . Если две переменные центрированы, то косинус в формуле связанной теоремы равен (это легко доказать, мы примем здесь как должное). И (евклидова норма в квадрате) есть , сумма квадратов в центрированной переменной. Таким образом, формула теоремы выглядит следующим образом:$D^2= \Sigma d_i^2$$D^2$$r$$r$$h^2$$N \sigma^2$$D_{xy}^2 = N\sigma_x^2+N\sigma_y^2-2\sqrt N\sigma_x \sqrt N \sigma_yr$, Обратите внимание также на еще одну важную вещь (которая может быть подтверждена отдельно): когда данные являются рангами , одинаков для центрированных и не центрированных данных.$D^2$

Кроме того, поскольку две переменные были ранжированы, их дисперсии одинаковы, , поэтому .$\sigma_x=\sigma_y=\sigma$$D^2 = 2N\sigma^2-2N\sigma^2r$

$r= 1-\frac{D^2}{2N\sigma^2}$ . Напомним, что ранжированные данные взяты из дискретного равномерного распределения, имеющего дисперсию . Подставляя его в формулу, мы оставляем .$(N^2-1)/12$$r= 1-\frac{6D^2}{N(N^2-1)}$

Алгебра проще, чем может показаться на первый взгляд.

ИМХО, мало пользы или понимания, достигаемого путем использования алгебраических манипуляций. Вместо этого действительно простая идентификация показывает, почему квадратные различия могут использоваться для выражения (обычного Пирсона) коэффициента корреляции. Применение этого к особому случаю, когда данные являются рангами, дает результат. Это показывает прежде загадочный коэффициент

$$\frac{6}{n(n^2-1)}$$

как половина обратной величины дисперсии рангов . (При наличии связей этот коэффициент приобретает более сложную формулу, но все равно будет вдвое меньше обратной дисперсии рангов, присвоенных данным.)$1, 2, \ldots, n$

Как только вы увидели и поняли это, формула становится запоминающейся. Сравнимые (но более сложные) формулы, которые обрабатывают связи, обнаруживаются в непараметрических статистических тестах, таких как критерий суммы рангов Уилкоксона, или появляются в пространственной статистике (например, Морана I, Си Гири и других), становятся понятными мгновенно.

---

Рассмотрим любой набор парных данных со средствами ··· X и ··· Y и дисперсиями ев 2 X и ˙s 2 Y . Перецентрируя переменные по их средним значениям ˉ X и ˉ Y и используя их стандартные отклонения s X и s Y в качестве единиц измерения, данные будут повторно выражены в виде стандартизированных значений.$(X_i,Y_i)$$\bar X$$\bar Y$$s_X^2$$s_Y^2$$\bar X$$\bar Y$$s_X$$s_Y$

$$(x_i, y_i) = \left(\frac{X_i-\bar X}{s_X}, \frac{Y_i-\bar Y}{s_Y}\right).$$

По определению коэффициент корреляции Пирсона исходных данных представляет собой среднее произведение стандартизированных значений,

$$\rho = \frac{1}{n}\sum_{i=1}^n x_i y_i.$$

Идентификация поляризации связывает продукты с квадратами. Для двух чисел и у он утверждает$x$$y$

$$xy = \frac{1}{2}\left(x^2 + y^2 - (x-y)^2\right),$$

что легко проверяется. Применение этого к каждому члену в сумме дает

$$\rho = \frac{1}{n}\sum_{i=1}^n \frac{1}{2}\left(x_i^2 + y_i^2 - (x_i-y_i)^2\right).$$

Поскольку и y i были стандартизированы, их средние квадраты равны единице, откуда$x_i$$y_i$

$$\rho = \frac{1}{2}\left(1 + 1 - \frac{1}{n}\sum_{i=1}^n (x_i-y_i)^2\right) = 1 - \frac{1}{2}\left(\frac{1}{n}\sum_{i=1}^n (x_i-y_i)^2\right).\tag{1}$$

Коэффициент корреляции отличается от максимально возможного значения на половину среднего квадрата разности стандартизированных данных.$1$

Это универсальная формула для корреляции, действительная независимо от исходных данных (при условии, что обе переменные имеют ненулевые стандартные отклонения). (Верные читатели этого сайта признают, что это тесно связано с геометрической характеристикой ковариации, описанной и иллюстрированной в разделе « Как бы вы объяснили ковариацию тому, кто понимает только среднее?» .)

---

В особом случае, когда и Y i являются различными рангами , каждый является перестановкой одной и той же последовательности чисел 1 , 2 , … , n . Таким образом, ˉ X = ˉ Y = ( n + 1 ) / 2 и с небольшим расчетом находим$X_i$$Y_i$$1,2 , \ldots, n$$\bar X = \bar Y = (n+1)/2$

$$s_X^2 = s_Y^2 = \frac{1}{n} \sum_{i=1}^n (i - (n+1)/2)^2 = \frac{n^2 - 1}{12}$$

(что, к счастью, отлично от нуля всякий раз, когда ). Следовательно$n\gt 1$

$$(x_i - y_i)^2 = \frac{\left((X_i - (n+1)/2)- (Y_i - (n+1)/2)\right)^2}{(n^2-1)/12} = \frac{12(X_i-Y_i)^2}{n^2-1}.$$

Это хорошее упрощение произошло потому, что и Y i имеют одинаковые средние значения и стандартные отклонения: следовательно, разница их средних значений исчезла, и произведение s X s Y стало s 2 X, которое не имеет квадратных корней .$X_i$$Y_i$$s_X s_Y$$s_X^2$

Подставив это в формулу для ρ, мы получим$(1)$$\rho$

$$\rho = 1 - \frac{6}{n(n^2-1)}\sum_{i=1}^n (X_i - Y_i)^2.$$

Ученики старших классов могут увидеть формулы корреляции PMCC и Spearman за годы до того, как у них появятся навыки алгебры для манипулирования сигма-нотацией, хотя они могут хорошо знать метод конечных различий для получения полиномиального уравнения для последовательности . Поэтому я попытался написать «доказательство старшей школы» для эквивалентности: найти знаменатель, используя конечные разности, и минимизировать алгебраическое манипулирование суммами в числителе. В зависимости от студентов, которым представлено доказательство, вы можете предпочесть этот подход числителю, но объединить его с более обычным методом для знаменателя.

Знаменатель , $\sqrt{\sum_i (x_i-\bar{x})^2 \sum_i(y_i-\bar{y})^2}$

$\{1, 2,\dots, n\}$$\bar{x}=\frac{n + 1}{2}$$S_{xx}=\sum_{i=1}^{n} (x_i-\bar{x})^2 = \sum_{k=1}^{n} (k-\frac{n + 1}{2})^2$, though with lower grade students I'd likely write this sum out explicitly rather than in sigma notation. The sum of a quadratic in $k$ will be cubic in $n$, a fact that students familiar with the finite difference method may grasp intuitively: differencing a cubic produces a quadratic, so summing a quadratic produces a cubic. Determining the coefficients of the cubic $f(n)$ is straightforward if students are comfortable manipulating $\Sigma$ notation and know (and remember!) the formulae for $\sum_{k=1}^{n} {k}$ and $\sum_{k=1}^{n} {k^2}$. But they can also be deduced using finite differences, as follows.

When $n=1$, the data set is just $\{1\}$, $\bar{x}=1$, so $f(1)=(1-1)^2 = 0$.

For $n=2$, the data are $\{1, 2\}$, $\bar{x}=1.5$, so $f(2)=(1-1.5)^2 + (2-1.5)^2 = 0.5$.

For $n=3$, the data are $\{1, 2, 3\}$, $\bar{x}=2$, so $f(3)=(1-2)^2 + (2-2)^2 + (3-2)^2 = 2$.

These computations are fairly brief, and help reinforce what the notation $\sum_{i=1}^{n} (x_i-\bar{x})^2$ means, and in short order we produce the finite difference table.

We can obtain the coefficients of $f(n)$ by cranking out the finite difference method as outlined in the links above. For instance, the constant third differences indicate our polynomial is indeed cubic, with leading coefficient $\frac{0.5}{3!} = \frac{1}{12}$. There are a few tricks to minimise drudgery: a well-known one is to use the common differences to extend the sequence back to $n=0$, as knowing $f(0)$ immediately gives away the constant coefficient. Another is to try extending the sequence to see if $f(n)$ is zero for an integer $n$ - e.g. if the sequence had been positive but decreasing, it would be worth extending rightwards to see if we could "catch a root", as this makes factorisation easier later. In our case, the function seems to hover around low values when $n$ is small, so let's extend even further leftwards.

Aha! It turns out we have caught all three roots: $f(-1) = f(0) = f(1) = 0$. So the polynomial has factors of $(n+1)$, $n$, and $(n-1)$. Since it was cubic it must be of the form:

$$f(n) = an(n+1)(n-1)$$

We can see that $a$ must be the coefficient of $n^3$ which we already determined to be $\frac{1}{12}$. Alternatively, since $f(2) = 0.5$ we have $a(2)(3)(1)=0.5$ which leads to the same conclusion. Expanding the difference of two squares gives:

$$S_{xx} = \frac{n(n^2-1)}{12}$$

Since the same argument applies to $S_{yy}$, the denominator is $\sqrt{S_{xx} S_{yy}} = \sqrt{S_{xx}^2} = S_{xx}$ and we are done. Ignoring my exposition, this method is surprisingly short. If one can spot that the polynomial is cubic, it is necessary only to calculate $S_{xx}$ for the cases $n \in \{1,2,3,4\}$ to establish the third difference is 0.5. Root-hunters need only extend the sequence leftwards to $n=0$ and $n=-1$, by when all three roots are found. It took me a couple of minutes to find $S_{xx}$ this way.

Numerator, $\sum_i(x_i-\bar{x})(y_i-\bar{y})$

I note the identity $(b-a)^2 \equiv b^2 - 2ab + a^2$ which can be rearranged to:

$$ab \equiv \frac{1}{2}\left(a^2 + b^2 - (b-a)^2 \right)$$

If we let $a = x_i - \bar{x} = x_i - \frac{n+1}{2}$ and $b = y_i - \bar{y} = y_i - \frac{n+1}{2}$ we have the useful result that $b-a = y_i - x_i = d_i$ because the means, being identical, cancel out. That was my intuition for writing the identity in the first place; I wanted to switch from working with the product of the moments to the square of their differences. We now have:

$$(x_i - \bar{x})(y_i - \bar{y}) = \frac{1}{2}\left((x_i - \bar{x})^2 + (y_i - \bar{y})^2 - d_i^2 \right)$$

Hopefully even students unsure how to manipulate $\Sigma$ notation can see how summing over the data set yields:

$$S_{xy} = \frac{1}{2}\left(S_{xx} + S_{yy} - \sum_{i=1}^n{d_i^2}\right)$$

We have already established, by reordering the sums, that $S_{yy} = S_{xx}$, leaving us with:

$$S_{xy}=S_{xx} - \frac{1}{2} \sum_{i=1}^n{d_i^2}$$

The formula for Spearman's correlation coefficient is within our grasp!

$$r_S = \frac{S_{xy}}{\sqrt{S_{xx}S_{yy}}} = \frac{S_{xx}-\frac{1}{2}\sum_i{d_i^2}}{S_{xx}} = 1 - \frac{\sum_i{d_i^2}}{2S_{xx}}$$

Substituting the earlier result that $S_{xx}=\frac{1}{12}n(n^2-1)$ will finish the job.

$$r_S = 1 - \frac{\sum_i{d_i^2}}{\frac{2}{12}n(n^2-1)} = 1 - \frac{6\sum_i{d_i^2}}{n(n^2-1)}$$