Зачем возводить в квадрат разницу, а не принимать абсолютное значение в стандартном отклонении?

В определении стандартного отклонения, почему мы должны возвести в квадрат разницу от среднего, чтобы получить среднее значение (E) и вернуть квадратный корень в конце? Разве мы не можем просто взять абсолютное значение разницы вместо этого и получить ожидаемое значение (среднее) из них, и не будет ли это также показывать изменение данных? Число будет отличаться от квадратного метода (метод абсолютного значения будет меньше), но он все равно должен показывать разброс данных. Кто-нибудь знает, почему мы принимаем этот квадратный подход как стандарт?

Определение стандартного отклонения:

$\sigma = \sqrt{E\left[\left(X - \mu\right)^2\right]}.$

Разве мы не можем просто взять абсолютное значение и все же быть хорошим измерением?

$\sigma = E\left[|X - \mu|\right]$

Если цель стандартного отклонения состоит в том, чтобы суммировать разброс симметричного набора данных (то есть, в общем, как далеко каждый элемент данных от среднего значения), то нам нужен хороший метод определения того, как измерить этот разброс.

Преимущества возведения в квадрат включают в себя:

• Квадрат всегда дает положительное значение, поэтому сумма не будет равна нулю.
• Квадрат подчеркивает большие различия - особенность, которая оказывается как хорошей, так и плохой (подумайте об эффекте, который имеют выбросы).

Квадрат, однако, имеет проблему как меру распространения, а именно, что все единицы в квадрате, в то время как мы могли бы предпочесть, чтобы спред был в тех же единицах, что и исходные данные (представьте квадратные фунты, квадратные доллары или квадратные яблоки) , Следовательно, квадратный корень позволяет нам вернуться к исходным единицам.

Я полагаю, вы могли бы сказать, что абсолютная разница придает равный вес разбросу данных, тогда как возведение в квадрат подчеркивает крайности. Технически, хотя, как отмечали другие, возведение в квадрат значительно облегчает работу с алгеброй и обеспечивает свойства, которых нет у абсолютного метода (например, дисперсия равна ожидаемому значению квадрата распределения минус квадрат квадрата среднее распределение)

Тем не менее , важно отметить, что нет никаких причин, по которым вы не могли бы принять абсолютную разницу, если бы вы предпочитали, как вы хотите видеть «спред» (например, некоторые люди считают 5% магическим порогом для значений, когда на самом деле это зависит от ситуации). На самом деле, существует несколько конкурирующих методов измерения спреда.$p$

Я считаю, что нужно использовать квадратные значения, потому что мне нравится думать о том, как это соотносится с теоремой статистики Пифагора: ... это также помогает мне помнить, что при работе с независимыми случайными переменными добавляются отклонения, а стандартные отклонения - нет. Но это только мое личное субъективное предпочтение, которое я в основном использую только как вспомогательное средство памяти, не стесняйтесь игнорировать этот параграф.$c = \sqrt{a^2 + b^2}$

Более подробный анализ можно прочитать здесь .

Квадратное различие имеет более хорошие математические свойства; оно непрерывно дифференцируемо (приятно, когда вы хотите минимизировать его), это достаточная статистика для гауссовского распределения, и это (версия) нормы L2, которая пригодится для доказательства сходимости и так далее.

Среднее абсолютное отклонение (предложенное вами обозначение абсолютного значения) также используется в качестве меры дисперсии, но оно не так «хорошо себя ведет», как квадратичная ошибка.

Один из способов, которым вы можете думать об этом, состоит в том, что стандартное отклонение похоже на «расстояние от среднего».

Сравните это с расстояниями в евклидовом пространстве - это даст вам истинное расстояние, где то, что вы предложили (что, кстати, является абсолютным отклонением ), больше похоже на вычисление манхэттенского расстояния .

Причина , что мы рассчитать стандартное отклонение вместо абсолютной погрешности в том , что мы в предположении об ошибке , чтобы быть нормально распределены . Это часть модели.

Предположим, что вы измеряли очень малую длину с помощью линейки, тогда стандартное отклонение является плохим показателем для ошибки, потому что вы знаете, что никогда не будете случайно измерять отрицательную длину. Лучшим показателем будет тот, который поможет подобрать гамма-распределение к вашим измерениям:

$\log(E(x)) - E(\log(x))$

Как и стандартное отклонение, оно также неотрицательно и дифференцируемо, но это лучшая статистика ошибок для этой проблемы.

Ответ, который мне больше всего понравился, заключается в том, что он естественным образом выпадает из обобщения образца в n-мерное евклидово пространство. Это, конечно, спорно, что является ли то, что должно быть сделано, но в любом случае:

Предположим, что ваши измерений X i являются осью в R n . Тогда ваши данные х я определяю точку х в этом пространстве. Теперь вы можете заметить, что все данные очень похожи друг на друга, поэтому вы можете представить их с помощью одного параметра местоположения μ, который должен лежать на линии, определенной как X i = μ . Проектируя свой Datapoint на этой линии получает вас μ = ˉ х , а расстояние от проектируемой точки μ 1 фактической точки данных является $n$$X_i$$\mathbb R^n$$x_i$$\bf x$$\mu$$X_i=\mu$$\hat\mu=\bar x$$\hat\mu\bf 1$.$\sqrt{\frac{n-1} n}\hat\sigma=\|\bf x-\hat\mu\bf 1\|$

Этот подход также получает вас геометрическую интерпретацию для .$\hat\rho=\cos \angle(\vec{\bf\tilde x},\vec{\bf\tilde y})$

Возведение разницы в среднее значение имеет несколько причин.

• Дисперсия определяется как 2-й момент отклонения (здесь RV ), и, таким образом, квадрат как моменты - это просто ожидания более высоких степеней случайной величины.$(x-\mu)$

• Наличие квадрата в отличие от функции абсолютного значения дает хорошую непрерывную и дифференцируемую функцию (абсолютное значение не дифференцируется при 0), что делает его естественным выбором, особенно в контексте оценки и регрессионного анализа.

• Квадратная формулировка также естественно выпадает из параметров нормального распределения.

Еще одна причина (в дополнение к превосходным приведенным выше) исходит от самого Фишера, который показал, что стандартное отклонение более «эффективно», чем абсолютное отклонение. Здесь эффективность связана с тем, насколько статистические данные будут колебаться в стоимости при различных выборках из совокупности. Если ваша совокупность обычно распределена, стандартное отклонение различных выборок из этой совокупности будет, в среднем, давать вам значения, которые довольно похожи друг на друга, тогда как абсолютное отклонение даст вам числа, которые распространяются немного больше. Сейчас, очевидно, это в идеальных обстоятельствах, но в этом причина убедила многих людей (а математика была чище), поэтому большинство людей работали со стандартными отклонениями.

Просто чтобы люди знали, есть вопрос Math Overflow по той же теме.

Почему-это-это-так круто к квадратных чисел-в-ухудшений условий нахождения-в-стандартное отклонение

Вывод состоит в том, что использование квадратного корня из дисперсии приводит к упрощению математики. Аналогичный ответ дают Рич и Рид выше.

$\newcommand{\var}{\operatorname{var}}$ Отклонения аддитивны: для независимых случайных величин , var ( X 1 + ⋯ + X n ) = var ( X 1 ) + ⋯ + var ( X n ) $X_1,\ldots,X_n$

$$\var(X_1+\cdots+X_n)=\var(X_1)+\cdots+\var(X_n).$$

Обратите внимание, что это делает возможным: скажем, я подбрасываю честную монету 900 раз. Какова вероятность того, что количество голов, которые я получу, составляет от 440 до 455 включительно? Просто найдите ожидаемое количество головок ( ) и дисперсию числа головок ( 225 = 15 2 ), затем найдите вероятность с нормальным (или гауссовским) распределением с ожиданием 450 и стандартным отклонением 15 между 439,5 и 455,5. , Авраам де Моивр сделал это с бросками монет в 18-м веке, тем самым сначала показав, что колоколообразный изгиб чего-то стоит.$450$$225=15^2$$450$$15$$439.5$$455.5$

Я думаю, что контраст между использованием абсолютных отклонений и квадратов отклонений становится более четким, когда вы выходите за пределы одной переменной и думаете о линейной регрессии. Хорошая дискуссия на http://en.wikipedia.org/wiki/Least_absolute_deviations , в частности, в разделе «Сравнение наименьших квадратов с наименьшими абсолютными отклонениями», в котором приводятся ссылки на некоторые студенческие упражнения с аккуратным набором апплетов на http: // www .math.wpi.edu / Course_Materials / SAS / lablets / 7.3 / 73_choices.html .

Подводя итог, можно сказать, что наименьшие абсолютные отклонения более устойчивы к выбросам, чем обычные наименьшие квадраты, но они могут быть нестабильными (небольшие изменения даже в одной системе координат могут привести к большим изменениям в подгоночной линии) и не всегда имеют уникальное решение - могут быть целый ряд подогнанных линий. Также наименьшие абсолютные отклонения требуют итерационных методов, в то время как обычные наименьшие квадраты имеют простое решение в замкнутой форме, хотя сейчас это не так уж и страшно, как, конечно, во времена Гаусса и Лежандра.

Есть много причин; Вероятно, главное, что он хорошо работает как параметр нормального распределения.

Во многих отношениях использование стандартного отклонения для суммирования дисперсии делает поспешный вывод. Можно сказать, что SD неявно предполагает симметричное распределение из-за равного отношения расстояния ниже среднего значения к расстоянию выше среднего. СД на удивление трудно интерпретировать не статистикам. Можно утверждать, что среднее различие Джини имеет более широкое применение и является значительно более понятным. Не требуется, чтобы кто-либо заявлял о своем выборе меры центральной тенденции, как использование SD для среднего. Средняя разница Джини - это средняя абсолютная разница между любыми двумя различными наблюдениями. Помимо того, что он надежен и прост в интерпретации, он оказывается эффективнее 0,98, как SD, если распределение на самом деле было гауссовским.

Оценка стандартного отклонения распределения требует выбора расстояния.
Можно использовать любое из следующих расстояний:

$$d_n((X)_{i=1,\ldots,I},\mu)=\left(\sum | X-\mu|^n\right)^{1/n}$$

Мы обычно используем естественное евклидово расстояние ( ), которое каждый использует в повседневной жизни. Расстояние, которое вы предлагаете, это расстояние с n = 1 . Оба являются хорошими кандидатами, но они разные.$n=2$$n=1$

Можно также решить использовать .$n=3$

Я не уверен, что вам понравится мой ответ, я не согласен с тем, чтобы показать, что лучше. Я думаю, что если вы хотите оценить стандартное отклонение распределения, вы можете использовать абсолютно другое расстояние.$n=2$

Это зависит от того, о чем вы говорите, когда говорите «распространение данных». Для меня это может означать две вещи:

1. Ширина выборочного распределения
2. Точность данной оценки

Для пункта 1) нет особой причины использовать стандартное отклонение в качестве меры разброса, за исключением случаев, когда у вас нормальное распределение выборки. Мера является более подходящей мерой в случаераспределения выборки Лапласа. Я предполагаю, что стандартное отклонение используется здесь из-за интуиции, перенесенной из пункта 2). Вероятно, также из-за успеха моделирования наименьших квадратов в целом, для которого стандартное отклонение является подходящей мерой. Возможно также потому, что вычисление E ( X 2 ) обычно проще, чем вычисление E ( $E(|X-\mu|)$$E(X^2)$ для большинства дистрибутивов.$E(|X|)$

Теперь для пункта 2) есть очень веская причина для использования дисперсии / стандартного отклонения в качестве меры разброса в одном конкретном, но очень распространенном случае. Вы можете видеть это в приближении Лапласа к заднему. С данными и предшествующей информацией I напишите апостериорный для параметра θ как:$D$$I$$\theta$

$$p(\theta\mid DI)=\frac{\exp\left(h(\theta)\right)}{\int \exp\left(h(t)\right)\,dt}\;\;\;\;\;\;h(\theta)\equiv\log[p(\theta\mid I)p(D\mid\theta I)]$$

$t$$\theta$$\theta_\max$

$$h(\theta)\approx h(\theta_\max)+(\theta_\max-\theta)h'(\theta_\max)+\frac{1}{2}(\theta_\max-\theta)^{2}h''(\theta_\max)$$

$\theta_\max$$h'(\theta_\max)=0$

$$h(\theta)\approx h(\theta_\max)+\frac{1}{2}(\theta_\max-\theta)^{2}h''(\theta_\max)$$

Если мы включим это приближение, мы получим:

$$p(\theta\mid DI)\approx\frac{\exp\left(h(\theta_\max)+\frac{1}{2}(\theta_\max-\theta)^{2}h''(\theta_\max)\right)}{\int \exp\left(h(\theta_\max)+\frac{1}{2}(\theta_\max-t)^{2}h''(\theta_\max)\right)\,dt}$$

$$=\frac{\exp\left(\frac{1}{2}(\theta_\max-\theta)^{2}h''(\theta_\max)\right)}{\int \exp\left(\frac{1}{2}(\theta_\max-t)^{2}h''(\theta_\max)\right)\,dt}$$

$E(\theta\mid DI)\approx\theta_\max$

$$V(\theta\mid DI)\approx \left[-h''(\theta_\max)\right]^{-1}$$

$-h''(\theta_\max)$$\theta$$h''(\theta)_{jk}=\frac{\partial h(\theta)}{\partial \theta_j \, \partial \theta_k}$

$p(\theta\mid I)=1$$\theta$$\theta_\max$

$$p(\theta_\max\mid\theta)\approx N\left(\theta,\left[-h''(\theta_\max)\right]^{-1}\right)$$ (посмотрите, можете ли вы угадать, какую парадигму я предпочитаю: P). Так или иначе, в оценке параметров стандартное отклонение является важной теоретической мерой разброса.

«Почему квадрат разницы» вместо «принятия абсолютного значения»? Чтобы ответить очень точно, есть литература, в которой приводятся причины, по которым она была принята, и обоснование того, почему большинство из этих причин не имеют места. «Разве мы не можем просто принять абсолютное значение ...?». Я знаю литературу, в которой ответ - да, это делается, и это считается выгодным.

Автор Горард утверждает, во-первых, использование квадратов было ранее принято по причинам простоты расчета, но эти первоначальные причины более не имеют места. Во-вторых, Горард утверждает, что OLS был принят, потому что Фишер обнаружил, что результаты анализов, в которых использовался OLS, имели меньшие отклонения, чем те, которые использовали абсолютные различия (грубо говоря). Таким образом, казалось бы, что OLS может иметь преимущества в некоторых идеальных обстоятельствах; однако Горард продолжает отмечать, что существует некоторый консенсус (и он утверждает, что Фишер согласен), что в реальных условиях (несовершенное измерение наблюдений, неравномерное распределение, исследования популяции без вывода из выборки) использование квадратов хуже, чем абсолютные различия.

Ответ Горарда на ваш вопрос: «Разве мы не можем просто взять абсолютную величину разницы и получить ожидаемую (среднюю) их величину?» Да. Еще одним преимуществом является то, что использование различий приводит к мерам (мерам ошибок и вариаций), которые связаны с тем, как мы воспринимаем эти идеи в жизни. Горард говорит, что представьте себе людей, которые делят счет в ресторане равномерно, и некоторые могут интуитивно заметить, что этот метод несправедлив. Никто там не исправит ошибки; Различия суть.

Наконец, используя абсолютные различия, он отмечает, что к каждому наблюдению относятся одинаково, тогда как при контрастировании квадратов различия дают прогнозируемые результаты с плохо большим весом, чем хорошо прогнозируемые наблюдения, что похоже на то, что некоторые наблюдения можно включать в исследование несколько раз. Таким образом, его основная идея заключается в том, что сегодня не так много причин выиграть для использования квадратов, и что использование абсолютных различий, напротив, имеет свои преимущества.

Рекомендации:

• Горард С. (2005). Возвращаясь к дискуссии 90-летней давности: преимущества среднего отклонения , Британский журнал образовательных исследований, 53 , 4, с. 417-430.
• Горард С. (2013). Возможные преимущества величины «эффекта» среднего абсолютного отклонения , Social Research Update , 65: 1.

Потому что квадраты могут позволить использовать многие другие математические операции или функции легче, чем абсолютные значения.

Пример: квадраты могут быть интегрированы, дифференцированы, могут легко использоваться в тригонометрических, логарифмических и других функциях.

При добавлении случайных величин их дисперсии добавляются для всех распределений. Дисперсия (и, следовательно, стандартное отклонение) является полезной мерой почти для всех распределений и никоим образом не ограничивается гауссовыми (иначе говоря, «нормальными») распределениями. Это способствует использованию его в качестве нашей меры ошибки. Недостаток уникальности - серьезная проблема с абсолютными различиями, так как часто существует бесконечное количество одинаковых «подгонок», и все же ясно, что «посередине» наиболее реалистично. Кроме того, даже с современными компьютерами важна вычислительная эффективность. Я работаю с большими наборами данных, и время процессора важно. Однако не существует единого абсолютного «наилучшего» показателя остатков, как указывалось в некоторых предыдущих ответах. Различные обстоятельства иногда требуют разных мер.

Естественно, вы можете описать разброс распределения любым осмысленным образом (абсолютное отклонение, квантили и т. Д.).

Одним приятным фактом является то, что дисперсия является вторым центральным моментом, и каждое распределение однозначно описывается своими моментами, если они существуют. Другим приятным фактом является то, что дисперсия математически гораздо лучше, чем любая сопоставимая метрика. Другой факт состоит в том, что дисперсия является одним из двух параметров нормального распределения для обычной параметризации, и нормальное распределение имеет только 2 ненулевых центральных момента, которые являются этими двумя самыми параметрами. Даже для ненормальных распределений может быть полезно думать в нормальных рамках.

На мой взгляд, причина, по которой стандартное отклонение существует как таковое, заключается в том, что в приложениях регулярно появляется квадратный корень из дисперсии (например, для стандартизации случайной переменной), что требует ее имени.

Другой и, возможно, более интуитивный подход - это когда вы думаете о линейной регрессии по сравнению со срединной регрессией.

$\mathbb{E}(y|x) = x\beta$$\beta = \arg \min_b \mathbb{E} (y - x b)^2$

$(y|x) = x\beta$$\beta = \arg \min_b \mathbb{E} |y - x b|$

Другими словами, использовать ли абсолютную или квадратичную ошибку, зависит от того, хотите ли вы смоделировать ожидаемое значение или медианное значение.

$y$$x$$y$

У Koenker и Hallock есть хорошая статья о квантильной регрессии, где срединная регрессия является особым случаем: http://master272.com/finance/QR/QRJEP.pdf .

Мое предположение таково: большинство популяций (распределений) имеют тенденцию собираться вокруг среднего значения. Чем дальше значение от среднего, тем оно реже. Для того чтобы адекватно выразить, насколько «вне линии» значение, необходимо учитывать как его расстояние от среднего значения, так и его (обычно говоря) редкость появления. Это делает возведение в квадрат разницы со средним по сравнению со значениями, которые имеют меньшие отклонения. После того, как все дисперсии усреднены, можно взять квадратный корень, который возвращает единицы к их исходным размерам.

Квадрат усиливает большие отклонения.

Если у вашей выборки есть значения, которые находятся по всей диаграмме, то для того, чтобы привести 68,2% к первому стандартному отклонению, ваше стандартное отклонение должно быть немного шире. Если ваши данные имеют тенденцию падать вокруг среднего значения, то σ может быть более жестким.

Некоторые говорят, что это для упрощения расчетов. Использование положительного квадратного корня из квадрата решило бы это так, чтобы аргумент не плавал.

$|x| = \sqrt{x^{2}}$

Так что если бы целью была алгебраическая простота, то это выглядело бы так:

$\sigma = \text{E}\left[\sqrt{(x-\mu)^{2}}\right]$$\text{E}\left[|x-\mu|\right]$

Очевидно, что возведение в квадрат также усиливает внешние ошибки (дох!).

Зачем возводить в квадрат разницу, а не принимать абсолютное значение в стандартном отклонении?

Мы возводим в квадрат разницу значений x от среднего, потому что евклидово расстояние, пропорциональное квадратному корню из степеней свободы (число x в измерении населенности), является наилучшей мерой дисперсии.

Расчет расстояния

Каково расстояние от точки 0 до точки 5?

• $5-0 = 5$
• $|0-5| = 5$
• $\sqrt{5^2} = 5$

Хорошо, это тривиально, потому что это одно измерение.

Как насчет расстояния для точки в точке 0, 0 до точки 3, 4?

Если мы можем идти только в одном измерении за раз (как в городских кварталах), тогда мы просто сложим числа. (Это иногда называют манхэттенским расстоянием).

Но как насчет двух измерений одновременно? Затем (по теореме Пифагора, которую мы все изучили в старшей школе), мы возводим в квадрат расстояние в каждом измерении, суммируем квадраты, а затем берем квадратный корень, чтобы найти расстояние от начала координат до точки.

$$\sqrt{3^2 + 4^2} = \sqrt{25} = 5$$

Как насчет расстояния от точки в 0, 0, 0 до точки 1, 2, 2?

Это только

$$\sqrt{1^2+2^2 + 2^2} = \sqrt9 = 3$$

потому что расстояние для первых двух иксов образует ногу для вычисления общего расстояния с последним х.

$$\sqrt{\sqrt{x_1^2 + x_2^2}^2 + x_3^2} = \sqrt{x_1^2 + x_2^2 + x_3^2}$$

Мы можем продолжить расширять правило возведения в квадрат расстояния каждого измерения, которое обобщает то, что мы называем евклидовым расстоянием, для ортогональных измерений в гиперразмерном пространстве, например так:

$$distance = \sqrt{ \sum_{i=1}^n{x_i^2} }$$

и поэтому сумма ортогональных квадратов является квадратом расстояния:

$$distance^2 = \sum_{i=1}^n{x_i^2}$$

Что делает измерение ортогональным (или под прямым углом) к другому? Условие состоит в том, что нет никакой связи между этими двумя измерениями. Мы хотели бы, чтобы эти измерения были независимыми и индивидуально распределенными ( iid ).

отклонение

Теперь вспомним формулу для дисперсии населения (от которой мы получим стандартное отклонение):

$$\sigma^2 = \frac{\displaystyle\sum_{i=1}^{n}(x_i - \mu)^2} {n}$$

Если мы уже центрировали данные на 0, вычитая среднее значение, мы имеем:

$$\sigma^2 = \frac{\displaystyle\sum_{i=1}^{n}(x_i)^2} {n}$$

$distance^2$ на измерения. «Среднее квадратичное отклонение» также будет подходящим термином.

Среднеквадратичное отклонение

Тогда у нас есть стандартное отклонение, которое является просто квадратным корнем из дисперсии:

$$\sigma = \sqrt{\frac{\displaystyle\sum_{i=1}^{n}(x_i - \mu)^2} {n}}$$

Что эквивалентно расстоянию , деленному на квадратный корень из степеней свободы:

$$\sigma = \frac{\sqrt{\displaystyle\sum_{i=1}^{n}(x_i)^2}} {\sqrt{n}}$$

Среднее Абсолютное Отклонение

Среднее абсолютное отклонение (MAD) - это мера дисперсии, которая использует расстояние по Манхэттену, или сумма абсолютных значений отличий от среднего.

$$MAD = \frac{\displaystyle\sum_{i=1}^{n}|x_i - \mu|} {n}$$

Опять же, предполагая, что данные центрированы (среднее значение вычтено), мы имеем расстояние по Манхэттену, деленное на количество измерений:

$$MAD = \frac{\displaystyle\sum_{i=1}^{n}|x_i|} {n}$$

обсуждение

• Среднее абсолютное отклонение составляет около 0,8 раз (на самом деле$\sqrt{2/\pi}$ ) размер стандартного отклонения для нормально распределенного набора данных.
• Независимо от распределения среднее абсолютное отклонение меньше или равно стандартному отклонению. MAD преуменьшает дисперсию набора данных с экстремальными значениями относительно стандартного отклонения.
• Среднее абсолютное отклонение более устойчиво к выбросам (т. Е. Выбросы не оказывают такого большого влияния на статистику, как на стандартное отклонение).
• С геометрической точки зрения, если измерения не являются ортогональными друг другу (например, iid) - например, если бы они были положительно коррелированы, среднее абсолютное отклонение было бы лучшей описательной статистикой, чем стандартное отклонение, которое основывается на евклидовом расстоянии (хотя это обычно считается хорошим ).

Эта таблица отражает вышеуказанную информацию более кратко:

$$\begin{array}{lll} & MAD & \sigma \\ \hline size & \le \sigma & \ge MAD \\ size, \sim N & .8 \times \sigma & 1.25 \times MAD \\ outliers & robust & influenced \\ not\ i.i.d. & robust & ok \end{array}$$

Комментарии:

У вас есть ссылка на «среднее абсолютное отклонение примерно в 0,8 раза больше стандартного отклонения для нормально распределенного набора данных»? Моделирование, которое я запускаю, показывает, что это неправильно.

Вот 10 симуляций миллиона выборок из стандартного нормального распределения:

>>> from numpy.random import standard_normal
>>> from numpy import mean, absolute
>>> for _ in range(10):
...     array = standard_normal(1_000_000)
...     print(numpy.std(array), mean(absolute(array - mean(array))))
... 
0.9999303226807994 0.7980634269273035
1.001126461808081 0.7985832977798981
0.9994247275533893 0.7980171649802613
0.9994142105335478 0.7972367136320848
1.0001188211817726 0.798021564315937
1.000442654481297 0.7981845236910842
1.0001537518728232 0.7975554993742403
1.0002838369191982 0.798143108250063
0.9999060114455384 0.797895284109523
1.0004871065680165 0.798726062813422

Заключение

Мы предпочитаем квадратные различия при расчете меры дисперсии, потому что мы можем использовать евклидово расстояние, что дает нам лучшую различающую статистику дисперсии. Когда есть более относительно экстремальные значения, евклидово расстояние учитывает это в статистике, тогда как манхэттенское расстояние дает каждому измерению равный вес.