Почему стандартное отклонение определяется как sqrt дисперсии, а не как sqrt суммы квадратов по N?

Сегодня я преподавал начальный класс статистики, и один студент подошел ко мне с вопросом, который я перефразирую здесь: «Почему стандартное отклонение определяется как квадратичная дисперсия, а не как квадрат суммы квадратов над N?»

Мы определяем дисперсию населения: $\sigma^2=\frac{1}{N}\sum{(x_i-\mu)^2}$

И стандартное отклонение: $\sigma=\sqrt{\sigma^2}=\frac{1}{\sqrt{N}}\sqrt{\sum{(x_i-\mu)^2}}$ .

Интерпретация, которую мы можем дать $\sigma$ состоит в том, что она дает среднее отклонение единиц в популяции от среднего значения по $X$ .

Однако, в определении sd мы делим квадрат суммы суммы квадратов на $\sqrt{N}$ . Вопрос, который поднимает студент, заключается в том, почему мы не делимвместо этогоплощадь суммы квадратов на$N$Таким образом, мы приходим к конкурирующей формуле:

$$\sigma_{new}=\frac{1}{N}\sqrt{\sum{(x_i-\mu)^2}}.$$ Студент утверждал, что эта формула больше похожа на «среднее» отклонение от среднего, чем при делении на$\sqrt{N}$ как в$\sigma$.

Я думал, что этот вопрос не глупый. Я хотел бы дать ответ студенту, который идет дальше, чем сказать, что SD определяется как sqrt дисперсии, которая является среднеквадратичным отклонением. Иными словами, почему студент должен использовать правильную формулу и не следовать ее идее?

Этот вопрос относится к более старой теме и ответам, представленным здесь . Ответы там идут в трех направлениях:

1. $\sigma$ - среднеквадратическое отклонение (RMS), а не «типичное» отклонение от среднего значения (т. е.$\sigma_{new}$ ). Таким образом, это определяется по-разному.
2. Обладает хорошими математическими свойствами.
3. Кроме того, sqrt вернет «единицы» в их первоначальный масштаб. Однако это также относится и к , который вместо этого делится на $\sigma_{new}$$N$

Оба пункта 1 и 2 являются аргументами в пользу sd как RMS, но я не вижу аргумента против использования . Какие были бы хорошие аргументы, чтобы убедить учащихся начального уровня в использовании среднего RMS-расстояния σ от среднего?$\sigma_{new}$$\sigma$

Есть как минимум три основные проблемы, которые могут быть легко объяснены новичкам:

1. «Новый» SD даже не определен для бесконечных популяций. (В таких случаях можно было бы объявить его всегда равным нулю, но это не сделало бы его более полезным.)

2. Новый SD не ведет себя так, как среднее должно быть при случайной выборке.

3. Хотя новый SD может использоваться со всей математической строгостью для оценки отклонений от среднего (в выборках и конечных популяциях), его интерпретация излишне сложна.

1. Применимость нового SD ограничена

Точка (1) может быть доведена до сведения даже тех, кто не разбирается в интеграции, указав, что, поскольку дисперсия явно является средним арифметическим (квадратом отклонений), она имеет полезное расширение для моделей «бесконечных» популяций, для которых Интуиция о существовании среднего арифметического сохраняется. Поэтому его квадратный корень - обычный SD - также отлично определен в таких случаях и столь же полезен в своей роли, как (нелинейное повторное выражение) дисперсия. Тем не менее, новый SD делит это среднее на произвольно большое , что делает проблематичным его обобщение за пределы конечных популяций и конечных выборок: что следует1/$\sqrt{N}$ быть равным в таких случаях?$1/\sqrt{N}$

2. Новый SD не средний

Любая статистика, достойная названия «средняя», должна обладать свойством, которое сходится к значению совокупности по мере увеличения размера случайной выборки из совокупности. Любое фиксированное значение, кратное SD, будет обладать этим свойством, потому что множитель будет применяться как для вычисления выборочного SD, так и SD для совокупности. (Хотя это наблюдение не противоречит непосредственно аргументу Алекоса Пападопулоса, это говорит о том, что аргумент имеет отношение только к реальным вопросам.) Однако «новый» SD, равный раз, чем обычно, очевидно, сходится к0при любых обстоятельствах, поскольку размер выборкиNстановится большим. Следовательно,хотя для любого фиксированного размера выборкиNновая SD (надлежащим образом интерпретированная) является совершенно адекватной мерой отклонения от среднего значения,ее нельзя с полным основанием считатьуниверсальноймерой, применимой с одинаковой интерпретацией для всех размеров выборки, и при этом она не может правильно называть «средним» в любом полезном смысле.$1/\sqrt{N}$$0$$N$$N$

3. Новый SD сложно интерпретировать и использовать

Попробуйте взять образцы (скажем) размера . Новый SD в этих случаях 1 / $N=4$раз больше обычного SD. Поэтому он имеет сопоставимые интерпретации, такие как аналог правила 68-95-99 (около 68% данных должны находиться вдвухновых SD среднего значения, 95% из них вчетырехновых SD среднего ит.Д .; и версии классических неравенств, таких как Чебычева, будут иметь место (не более1/k2данных может лежать более чем на2kновых SD от их среднего значения), и теорема о центральном пределе может быть аналогичным образом переформулирована в терминах нового SD (делится на$1/\sqrt{N}=1/2$$1/k^2$$2k$$\sqrt{N}$ times the new SD in order to standardize the variable). Thus, in this specific and clearly constrained sense, there is nothing wrong with the student's proposal. The difficulty, though, is that these statements all contain--quite explicitly--factors of $\sqrt{N}=2$. Although there is no inherent mathematical problem with this, it certainly complicates the statements and interpretation of the most fundamental laws of statistics.

---

It is of note that Gauss and others originally parameterized the Gaussian distribution by $\sqrt{2}\sigma$, effectively using $\sqrt{2}$

Assume that your sample contains only two realizations. I guess an intuitive measure of dispersion would be the average absolute deviation (AAD)

$$AAD = \frac 12 (|x_1-\bar x| + |x_2-\bar x|) = ...= \frac {|x_1-x_2|}{2}$$

So we would want other measures of dispersion at the same level of units of measurement to be "close" to the above.

The sample variance is defined as

$$\sigma^2=\frac{1}{2}[(x_1-\bar x)^2 + (x_2-\bar x)^2] = \frac 12 \left[\left(\frac {x_1-x_2}{2}\right)^2 + \left(\frac {x_2-x_1}{2}\right)^2\right]$$

$$=\frac 12 \left[\frac {(x_1-x_2)^2}{4} + \frac {(x_1-x_2)^2}{4}\right]=\frac 12 \frac {(x_1-x_2)^2}{2}$$

$$=\frac 12\cdot \frac {|x_1-x_2|^2}{2}$$

To return to the original units of measurement, if we did as the student wondered/suggested,we would obtain the measure, call it $q$

$$q \equiv \frac 12\cdot \sqrt {\frac {|x_1-x_2|^2}{2}} = \frac 12 \frac {|x_1-x_2|}{\sqrt 2} = \frac 1{\sqrt 2} AAD < AAD$$

i.e. we would have "downplayed" the "intuitive" measure of dispersion, while if we have considered the standard deviation as defined,

$$SD \equiv \sqrt {\sigma^2} = \frac {|x_1-x_2|}{2} =AAD$$

Since we want to "stay as close as possible" to the intuitive measure, we should use $SD$.

ADDENDUM
Let's consider now a sample of size $n$ We have

$$n\cdot AAD = \sum_{i=1}^n |x_i-\bar x|$$

and

$$n \cdot \text{Var}(X) = \sum_{i=1}^n (x_i-\bar x)^2 = \sum_{i=1}^n |x_i-\bar x|^2$$

we can write the right-hand side of the variance expression as

$$\sum_{i=1}^n |x_i-\bar x|^2 = \left(\sum_{i=1}^n |x_i-\bar x|\right)^2 - \sum_{j\neq i} |x_i-\bar x||x_j-\bar x|$$

$$= \left (n\cdot AAD\right)^2 - \sum_{j\neq i} |x_i-\bar x||x_j-\bar x|$$

Then the dispersion measure $q_n$ will be

$$q_n \equiv \frac 1n \left[n^2\cdot AAD^2 - \sum_{j\neq i} |x_i-\bar x||x_j-\bar x|\right]^{1/2}$$

$$= \left[AAD^2 - \frac 1{n^2} \sum_{j\neq i} |x_i-\bar x||x_j-\bar x|\right]^{1/2}$$

Now think informally: note that $\sum_{j\neq i} |x_i-\bar x||x_j-\bar x|$ contains $n^2-n$ terms, and so divided by $n^2$ will left us with "one term in the second power". But also "one term in the 2nd power" is what we have in $AAD^2$: this is a primitive way to "sense" why $q_n$ will tend to zero as $n$ grows large. On the other hand the Standard Deviation as defined would be

$$SD \equiv \frac 1{\sqrt n} \left[n^2\cdot AAD^2 - \sum_{j\neq i} |x_i-\bar x||x_j-\bar x|\right]^{1/2}$$

$$= \left[n\cdot AAD^2 - \frac 1{n} \sum_{j\neq i} |x_i-\bar x||x_j-\bar x|\right]^{1/2}$$

Continuing are informal thinking, the first term gives us $n$ "terms in the 2nd power", while the second term gives us $n-1$ "terms in the second power" . So we will be left eventually with one such term, as $n$ grows large, and then we will take its square root.
This does not mean that the Standard Deviation as defined will equal the Average Absolute Deviation in general (it doesn't), but it does show that it is suitably defined so as to be "on a par" with it for any $n$, as well as for the case when $n\rightarrow \infty$.