Среднее абсолютное отклонение против стандартного отклонения

В учебнике Грира «Новая комплексная математика для уровня O» (1983) я вижу усредненное отклонение, рассчитываемое так:

Суммируйте абсолютные различия между отдельными значениями и средним. Тогда получите его среднее. В этой главе используется термин « среднее отклонение» .

Но я недавно видел несколько ссылок, которые используют термин стандартное отклонение, и вот что они делают:

Рассчитайте квадраты различий между отдельными значениями и средним. Затем получите их среднее значение и, наконец, корень ответа.

Я попробовал оба метода на общем наборе данных, и их ответы отличаются. Я не статистика. Я запутался, пытаясь научить девиации своим детям.

Итак, короче говоря, термины стандартное отклонение и среднее отклонение одинаковы или мой старый учебник неверен?

Оба отвечают, как далеко ваши значения распределены по среднему значению наблюдений.

Наблюдение, которое равно 1 под средним, равно «далеко» от среднего значения, как значение, которое на 1 выше среднего. Следовательно, вы должны пренебрегать знаком отклонения. Это можно сделать двумя способами:

• Рассчитайте абсолютную величину отклонений и суммируйте их.

• Возведите в квадрат отклонения и сложите эти квадраты. Из-за квадрата вы придаете больший вес высоким отклонениям, и, следовательно, сумма этих квадратов будет отличаться от суммы средних.

Вычислив «сумму абсолютных отклонений» или «квадратный корень из суммы квадратов отклонений», вы усредняете их, чтобы получить «среднее отклонение» и «стандартное отклонение» соответственно.

Среднее отклонение используется редко.

Сегодня статистические значения в основном рассчитываются с помощью компьютерных программ (Excel, ...), а не с помощью ручных калькуляторов. Следовательно, я бы сказал, что вычисление «среднего отклонения» не более громоздко, чем вычисление «стандартного отклонения». Хотя стандартное отклонение может иметь «... математические свойства, которые делают его более полезным в статистике», на самом деле это искажение понятия дисперсии от среднего, поскольку оно дает дополнительный вес точкам данных, далеким от среднего. Это может занять некоторое время, но я, например, надеюсь, что статистики снова станут использовать «среднее отклонение» чаще при обсуждении распределения между точками данных - это более точно отражает то, как мы на самом деле думаем о распределении.

Они оба измеряют одну и ту же концепцию, но не равны.

$\frac{1}{n} \sum |x_i-\bar{x}|$$\sqrt{\frac{1}{n} \sum (x_i-\bar{x})^2}$

$\sqrt{a+b} \neq \sqrt{a} + \sqrt{b}$
$\sum|x_i-\bar{x}| = \sum \sqrt{(x_i-\bar{x})^2} \neq \sqrt{\sum(x_i-\bar{x})^2}$

$n$

$\frac{1}{n}\sum \sqrt{(x_i-\bar{x})^2}$

Причина, по которой стандартное отклонение является предпочтительным, заключается в том, что с математически легче работать позже, когда вычисления становятся более сложными.

@itsols, я добавлю к важному понятию Каспера это The mean deviation is rarely used. Почему стандартное отклонение обычно считается лучшей мерой изменчивости, чем среднее абсолютное отклонение? Потому что среднее арифметическое - это локус минимальной суммы квадратов (а не суммы абсолютных) отклонений от него.

Предположим, вы хотите оценить степень альтруизма. Тогда вы, вероятно, не спросите человека о том, сколько он готов дать денег в «общей ситуации» жизни. Скорее, вы решите спросить, насколько он готов сделать это в сдержанной ситуации, когда у него есть минимально возможные ресурсы для его собственной жизни. Т.е. какова величина индивидуального альтруизма в ситуации, когда эта сумма минимальна?

Кроме того, какова степень изменчивости этих данных? Интуитивно понятно, что лучшим показателем измерения для него является тот, который минимизирован (или максимизирован) до предела в этом контексте. Контекст «вокруг среднего арифметического». Тогда ул. отклонение - лучший выбор в этом смысле. Если контекст был «вокруг медианы», то означал бы | отклонение | будет лучшим выбором, потому что медиана является локусом минимальной суммы абсолютных отклонений от него.

Стоит добавить, что наиболее вероятная причина, по которой ваш 30-летний учебник использовал абсолютное среднее отклонение, а не стандартное отклонение, заключается в том, что его легче вычислить вручную (без квадратуры / квадратного корня). Теперь, когда калькуляторы легко доступны для старшеклассников, нет никаких оснований не просить их рассчитать стандартное отклонение.

Все еще существуют ситуации, в которых абсолютные отклонения используются вместо стандартных отклонений при подгонке сложной модели. Абсолютные отклонения менее чувствительны к экстремальным выбросам (значениям, далеким от средней / линии тренда) по сравнению со стандартными отклонениями, поскольку они не возводят это расстояние в квадрат перед добавлением его к значениям из других точек данных. Поскольку методы подбора модели направлены на уменьшение общего отклонения от линии тренда (в зависимости от того, какое отклонение метода является расчетным), методы, использующие стандартное отклонение, могут в конечном итоге создать линию тренда, которая отклоняется от большинства точек, чтобы быть ближе к выбросу. , Использование абсолютных отклонений уменьшает это искажение, но за счет усложнения расчета линии тренда.

Это потому, что, как отмечали другие, стандартное отклонение имеет математические свойства и отношения, которые обычно делают его более полезным в статистике. Но «полезное» никогда не следует путать с идеальным.

Оба измеряют дисперсию ваших данных, вычисляя расстояние данных до их среднего значения.

1. среднее абсолютное отклонение использует норму L1 (ее также называют Манхэттен расстояние или прямолинейное расстояние )
2. стандартное отклонение использует норму L2 (также называется евклидово расстояние )

Разница между этими двумя нормами заключается в том, что стандартное отклонение рассчитывает квадрат разности, тогда как среднее абсолютное отклонение учитывает только абсолютную разницу. Следовательно, большие выбросы будут создавать более высокую дисперсию при использовании стандартного отклонения вместо другого метода. Евклидово расстояние действительно также чаще используется. Основная причина в том, что стандартное отклонениеимеют хорошие свойства при нормальном распределении данных. Таким образом, при этом предположении, рекомендуется использовать его. Однако люди часто делают это предположение для данных, которые на самом деле обычно не распространяются, что создает проблемы. Если ваши данные обычно не распространяются, вы все равно можете использовать стандартное отклонение, но вы должны быть осторожны с интерпретацией результатов.

Наконец, вы должны знать, что обе меры дисперсии являются частными случаями расстояния Минковского для p = 1 и p = 2. Вы можете увеличить p, чтобы получить другие показатели разброса ваших данных.

Это схожие меры, которые пытаются количественно оценить одно и то же понятие. Как правило, вы используете ул. отклонение, поскольку оно имеет хорошие свойства, если вы сделаете некоторое предположение о базовом распределении.

С другой стороны, абсолютное значение среднего отклонения вызывает некоторые проблемы с математической точки зрения, поскольку вы не можете дифференцировать его и не можете легко его проанализировать. Некоторое обсуждение здесь .

Нет, ты ошибаешься. Просто шучу. Есть, однако, много жизнеспособных причин, почему кто-то хотел бы вычислить среднее отклонение, а не формальное стандартное значение, и таким образом я согласен с точкой зрения моих технических братьев. Конечно, если я вычисляю статистику для сравнения с существующей работой, которая выражает качественные, а также количественные выводы, я бы придерживался стандарта. Но, например, предположим, что я пытаюсь бежать быстроалгоритмы обнаружения аномалий на двоичных, сгенерированных машиной данных. Я не после академических сравнений в качестве моей конечной цели. Но меня интересует фундаментальный вывод о «распространении» определенного потока данных о его среднем значении. Я также заинтересован в том, чтобы вычислять это итеративно и максимально эффективно. В цифровом электронном оборудовании мы все время играем грязные трюки - мы перегоняем умножения и деления на сдвиги влево и вправо соответственно, а для «вычисления» абсолютных значений мы просто сбрасываем знаковый бит (и при необходимости вычисляем одно или два дополнения) Обе легко трансформируются). Таким образом, мой выбор состоит в том, чтобы вычислить его наиболее изнурительным способом и применить линейные пороги к моим вычислениям для быстрого обнаружения аномалий в течение требуемых временных окон.

Эти две меры действительно различаются. Первый часто называют средним абсолютным отклонением (MAD), а второй - стандартным отклонением (STD). Во встраиваемых приложениях с сильно ограниченными вычислительными возможностями и ограниченной памятью программ очень желательно избегать вычислений с квадратным корнем.

Из быстрого грубого теста кажется, что MAD = f * STD с f где-то между 0,78 и 0,80 для набора случайных выборок, распределенных по Гауссу.

У Амара Сагу есть очень хорошая статья, объясняющая это: [ http://blog.amarsagoo.info/2007/09/making-sense-of-standard-deviation.html]

Чтобы добавить мою попытку интуитивного понимания:

Среднее отклонение - это достойный способ выяснить, как далеко гипотетическая «средняя» точка находится от среднего значения, но на самом деле это не работает для того, чтобы выяснить, как далеко все точки находятся друг от друга или насколько «разбросаны» данные.

Стандартное отклонение задает вопрос о том, как далеко друг от друга находятся все точки, поэтому оно включает в себя больше полезной информации, чем просто среднее отклонение (именно поэтому среднее отклонение обычно используется только как ступенька к пониманию стандартного отклонения).

Хорошей аналогией является теорема Пифагора. Теорема Пифагора говорит нам расстояние между точками в двух измерениях, беря горизонтальное расстояние и вертикальное расстояние, возводя их в квадрат, добавляя квадраты и беря квадратный корень из суммы.

Если вы внимательно посмотрите, формула для (совокупности) стандартного отклонения в основном такая же, как теорема Пифагора, но с гораздо большим, чем два измерения (и с использованием расстояния от каждой точки до среднего в качестве расстояния в каждом измерении). Как таковой, он дает наиболее точную картину «расстояния» между всеми точками в вашем наборе данных.

Чтобы продвинуть эту аналогию немного дальше, среднее абсолютное отклонение будет похоже на взятие среднего значения горизонтального и вертикального расстояний, которое меньше общего расстояния, в то время как суммарное абсолютное отклонение будет сложением горизонтального и вертикального расстояний, которое длиннее чем фактическое расстояние.

Стандартное отклонение представляет собой дисперсию из-за случайных процессов. В частности, многие физические измерения, которые, как ожидается, должны быть связаны с суммой многих независимых процессов, имеют нормальное распределение (кривая колокола).

$\Large Y = \frac{1}{\sigma\sqrt{2\pi}}e^{-\frac{\left(x-\mu\right)^2}{2\sigma^2}}$

$Y$$x$$\mu$$\sigma$

Другими словами, стандартное отклонение - это термин, который возникает из суммирования независимых случайных величин. Поэтому я не согласен с некоторыми ответами, приведенными здесь: стандартное отклонение - это не просто альтернатива среднему отклонению, которое «оказывается более удобным для последующих вычислений». Стандартное отклонение является правильным способом моделирования дисперсии для нормально распределенных явлений.

Если вы посмотрите на уравнение, вы увидите, что стандартное отклонение более сильно взвешивает большие отклонения от среднего. Интуитивно понятно, что среднее отклонение можно представить как измерение фактического среднего отклонения от среднего, тогда как стандартное отклонение учитывает «нормальное» распределение в форме колокола вокруг среднего. Таким образом, если ваши данные обычно распределяются, стандартное отклонение говорит вам, что если вы выберете больше значений, ~ 68% из них будут найдены в пределах одного стандартного отклонения от среднего значения.

С другой стороны, если у вас есть одна случайная переменная, распределение может выглядеть как прямоугольник с равной вероятностью появления значений в любом месте диапазона. В этом случае среднее отклонение может быть более подходящим.

TL; DR, если у вас есть данные, которые происходят из-за множества лежащих в основе случайных процессов или которые вы просто знаете, что они распространяются нормально, используйте функцию стандартного отклонения.