Почему меры дисперсии менее интуитивны, чем центральность?

Кажется, что-то в нашем человеческом понимании создает трудности для интуитивного понимания идеи дисперсии. В узком смысле ответ немедленен: квадрат отбрасывает нас от нашего рефлексивного понимания. Но это только дисперсия, которая представляет проблемы, или это вся идея распространения в данных? Мы ищем убежище в диапазонеИли просто указав минимум и максимум, но мы просто избегаем реальной трудности? В среднем (мода или медиана) мы находим центр, резюме ... упрощение; Разница распространяет вещи вокруг и делает их неудобными. Первобытный человек определенно использовал бы среднее значение в охоте на животных, триангулируя молитву, но я полагаю, что гораздо позже мы почувствовали необходимость количественно оценить распространение вещей. Фактически, термин дисперсия был впервые введен Рональдом Фишером совсем недавно, в 1918 году, в статье «Корреляция между родственниками в предположении о менделевском наследовании».

Большинство людей, которые следят за новостями, услышали бы историю о неудачной речи Ларри Саммерса о математических способностях к полу , которые, возможно, были связаны с его отъездом из Гарварда. В двух словах, он предложил более широкое расхождение в распределении математической компетенции среди мужчин по сравнению с женщинами, хотя оба пола имели одинаковое среднее значение. Независимо от целесообразности или политических последствий, это, кажется, обосновано в научной литературе .

Что еще более важно, возможно, понимание вопросов, таких как изменение климата - пожалуйста, прости меня за то, что я поднял темы, которые могли бы привести к совершенно неуместным дискуссиям - населению могло бы помочь лучшее знакомство с идеей отклонения.

Проблема усугубляется, когда мы пытаемся понять ковариантность, как показано в этом посте , где представлен замечательный и красочный ответ @whuber здесь .

Может быть заманчиво отклонить этот вопрос как слишком общий, но ясно, что мы обсуждаем его косвенно, как в этом посте , где математика тривиальна, но концепция продолжает оставаться неуловимой, опровергая более комфортное принятие диапазона как в отличие от более тонкой идеи отклонения .

В письме от Фишера к EBFord , касающемся противоречия по поводу его подозрений в экспериментах Менделяна , мы читаем: «Теперь, когда данные были сфальсифицированы, я очень хорошо знаю, как в целом люди недооценивают частоту отклонений с большой вероятностью , так что тенденция всегда заставлять их слишком хорошо соглашаться с ожиданиями ... отклонения [по данным Менделя] невероятно малы ». Великий Р.А. Фишер настолько увлечен подозрением о небольших отклонениях в небольших выборках, что пишет : «среди прочего, существует вероятность того, что Мендель был обманут каким-то помощником, который слишком хорошо знал, что ожидалось».

И вполне возможно, что этот уклон к занижению или неправильному пониманию распространения сохраняется и сегодня. Если да, то есть ли какое-то объяснение тому, почему мы более довольны концепциями центральности, чем дисперсией? Что мы можем сделать, чтобы усвоить идею?

Некоторые понятия мы «видим» в одно мгновение, а потом не видим, но принимаем их и движемся дальше. Например, или , но нам не нужно даже знать об этих личностях, чтобы принимать решения в нашей повседневной жизни. То же самое не относится к дисперсии. Итак, не должно ли это быть более интуитивным?E = m c $\small e^{i\pi}+1=0$$\small E=mc^2$

Нассим Талеб разбогател, применяя свое (ну, в действительности, Бенуа Мандельброта ) восприятие ошибочного понимания дисперсии для использования во времена кризиса, и пытался сделать концепцию понятной для масс с помощью таких предложений, как «дисперсия дисперсии эпистемологически мера отсутствия знаний об отсутствии знаний о среднем »- да, у этого глотка больше контекста ... И, к его чести, он также упростил идею « Благодарения Турции » . Можно утверждать, что ключом к инвестированию является понимание дисперсии (и ковариации).

Итак, почему это так скользко, и как исправить это? Без формул ... только интуиция лет борьбы с неопределенностью ... Я не знаю ответа, но он не математический (обязательно, то есть): например, мне интересно, мешает ли идея куртоза дисперсии. На следующем графике мы имеем две гистограммы, перекрывающиеся практически с одной и той же дисперсией; тем не менее, реакция моего коленного рефлекса состоит в том, что тот, у кого самые длинные хвосты и самый высокий пик (более высокий эксцесс), более «разложен»:

Я разделяю ваше чувство, что дисперсия немного менее интуитивна. Что еще более важно, дисперсия как мера оптимизирована для определенных распределений и имеет меньшую ценность для асимметричных распределений. Средняя абсолютная разница со средним, на мой взгляд, не намного более интуитивна, поскольку для этого необходимо выбрать среднее в качестве меры центральной тенденции. Я предпочитаю среднюю разницу Джини - среднюю абсолютную разницу по всем парам наблюдений. Это интуитивно понятно, надежно и эффективно. По эффективности, если данные получены из гауссовского распределения, среднее различие Джини с соответствующим коэффициентом масштабирования, примененным к нему, равно 0,98, что и стандартное отклонение выборки. Существует эффективная вычислительная формула для среднего значения разницы Джини после сортировки данных. Код R ниже.

w <- 4 * ((1:n) - (n - 1)/2)/n/(n - 1)
sum(w * sort(x - mean(x)))

Вот некоторые из моих мыслей. Он не затрагивает все аспекты, на которые вы могли бы взглянуть на свой вопрос, на самом деле, есть много вопросов, к которым он не относится (вопрос кажется довольно широким).

Почему непрофессионалам трудно понять математический расчет Дисперсии?

Дисперсия, по сути, состоит в том, насколько распространены вещи. Это достаточно легко понять, но способ вычисления может показаться непрофессионалу непрофессионалу.

Проблема заключается в том, что отличия от среднего значения возводятся в квадрат (затем усредняются), а затем получают квадратные корни, чтобы получить стандартное отклонение. Мы понимаем, почему этот метод необходим - возведение в квадрат должно сделать значения положительными, а затем они получают квадратные корни, чтобы получить исходные единицы. Тем не менее, непрофессионала , вероятно, будут путать с тем, почему числа возводятся в квадрат и имеют квадратные корни. Это выглядит так, как будто оно само себя отменяет, но кажется бессмысленным / странным.

Что для них более интуитивно понятно, так это нахождение спреда путем простого усреднения абсолютных различий между средним и каждой точкой (так называемое среднее абсолютное отклонение). Этот метод не требует квадратуры и квадратного корня, поэтому он намного более интуитивен.

Обратите внимание, что только то, что Среднее Абсолютное Отклонение является более простым, не означает, что оно «лучше». Дискуссия о том, использовать ли квадраты или абсолютные значения, ведется уже в течение столетия с участием многих выдающихся статистиков, поэтому такой случайный человек, как я, не может просто прийти сюда и сказать, что кто-то лучше. (Усреднение квадратов, чтобы найти дисперсию, конечно, более популярно)

В двух словах: Квадрат, чтобы найти дисперсию, кажется менее интуитивным для непрофессионалов, которые посчитали бы усреднение абсолютных различий более простым. Тем не менее, я не думаю , что у людей есть проблемы с пониманием идеи распространения самого

Вот мое мнение по вашему вопросу.

Я начну с вопроса о вышеупомянутом ответе, а затем попытаюсь высказать свою точку зрения.

Вопрос к предыдущей гипотезе:

Неужели квадраты затрудняют понимание мер дисперсии, таких как среднеквадратичное отклонение? Я согласен, что квадрат усложняет задачу, привнося математическую сложность, но если бы ответом были только квадраты, среднее абсолютное отклонение было бы столь же простым для понимания и измерения центральности.

Мнение:

Я думаю, что нам трудно понять меры дисперсии, так как сама дисперсия - это двумерная информация. Попытка суммировать двумерную информацию в одной метрике подразумевает частичную потерю информации, которая в результате вызывает путаницу.

Пример:

Пример, который может помочь объяснить вышеизложенную концепцию, заключается в следующем. Давайте получим 2 разных набора данных:

1. Следует распределению Гаусса
2. Следует за неизвестным и асимметричным распределением

Давайте также предположим, что дисперсия по стандартному отклонению равна 1,0.

Мой разум склонен интерпретировать дисперсию множества 1 гораздо более ясно, чем дисперсию множества 2. В этом конкретном случае причина моего лучшего понимания объясняется, зная, что двумерная форма распределения заранее позволяет мне понять меру распределения в члены вероятности вокруг централизованного гауссова среднего. Другими словами, распределение Гаусса дало мне 2-мерный намек, который мне нужен, чтобы лучше перевести из меры дисперсии.

Вывод:

В общем, нет никакого реального способа собрать в одной мере отклонения все, что есть в двумерной информации. То, что я обычно делаю, чтобы понять дисперсию, не смотря непосредственно на само распределение, - это объединение множества мер, объясняющих определенное распределение. Они установят контекст для моего разума, чтобы лучше понять саму меру дисперсии. Если бы я мог использовать графики, конечно, коробочные графики действительно полезны для их визуализации.

Отличная дискуссия, которая заставила меня много думать по этому вопросу. Буду рад услышать ваше мнение.

Я думаю, что простая причина того, что людям сложнее с изменчивостью (будь то дисперсия, стандартное отклонение, MAD или что-то еще), заключается в том, что вы не можете по-настоящему понять изменчивость, пока не поймете идею центра. Это потому, что все показатели изменчивости измеряются на основе расстояния от центра.

Такие понятия, как среднее значение и медиана, являются параллельными понятиями, вы можете сначала изучить либо одно, и некоторые люди могут лучше понять одного, а другие лучше поймут другого. Но разброс измеряется от центра (для некоторого определения центра), поэтому его нельзя понять в первую очередь.