Каковы наиболее распространенные уклоны, которые люди делают при сборе или интерпретации данных?

Я эконом / стат майор. Мне известно, что экономисты пытались изменить свои предположения о поведении и рациональности человека, выявляя ситуации, в которых люди не ведут себя рационально. Например, предположим, что я предлагаю вам 100% -ную потерю в 1000 долл. Или 50% -ную потерю в размере 2500 долл. , Люди выбирают вариант с 2500 долл., Даже если ожидаемая стоимость последнего больше потери, чем гарантированная 1000 долл. потеря. Это известно как «отвращение к потерям». Поведенческие экономисты сейчас изучают эти закономерности и пытаются определить, как люди отклоняются от этих аксиом, которые обычно считаются «рациональным» поведением. Здесь я полагаю, что разумно предпочесть наименьшую ожидаемую потерю.

Мне было интересно, выявили ли статистики общие закономерности в сборе данных, которые дают необъективные результаты в том, как люди интерпретируют данные. Если по существу существовал «рациональный» способ сбора данных, я предполагаю, что есть примеры, когда люди отклоняются от этого и демонстрируют «предвзятость». Если да, то какие наиболее распространенные предубеждения возникают у людей при сборе или интерпретации данных?

Я думаю, что в академических кругах, р-значения очень часто неправильно интерпретируются. Люди склонны забывать, что значение p выражает условную вероятность. Даже если эксперимент был проведен безупречно и все требования выбранного статистического теста выполнены, частота ложных открытий обычно намного выше, чем уровень значимости альфа. Уровень ложных открытий увеличивается с уменьшением статистической мощности и распространенности истинных положительных результатов (Colquhoun, 2014; Nuzzo, 2014).

Кроме того, люди склонны считать свои оценки правдой, а параметр - случайным (Haller & Kraus, 2002). Например, когда они говорят, что в «95% случаев этот идентифицированный доверительный интервал охватывает параметр» ...

Смешение корреляции и причинности, вероятно, также является очень распространенной ошибкой в ​​интерпретации данных.

Что касается сбора данных, я думаю, что распространенной ошибкой является выбор наиболее доступной, а не наиболее представительной выборки.

Colquhoun, D. (2014). Исследование частоты ложных открытий и неправильной интерпретации значений P. Королевское общество открытой науки, 1–15.

Нуццо, Р. (2014). Статистические ошибки: значения P, «золотой стандарт» статистической достоверности не так надежны, как предполагают многие ученые. Природа, 506, 150–152.

Haller, H. & Kraus, S. (2002): неправильное толкование значения: проблема, которую студенты разделяют со своими учителями? Методы психологического исследования онлайн, т.7, № 1

Я бы сказал, что общая неспособность оценить, как выглядит настоящая случайность. Люди, кажется, ожидают слишком мало ложных паттернов, чем на самом деле происходит в последовательности случайных событий. Это также проявляется, когда мы пытаемся симулировать случайность самостоятельно.

Другим довольно распространенным явлением является не понимание независимости, как в заблуждении игрока. Иногда мы думаем, что предыдущие события могут повлиять на будущие, даже если это явно невозможно, например, предыдущая раздача перетасованной колоды карт, влияющая на будущую.

Уже отмечалось, что многие из поведенческих и мыслительных процессов, которые экономисты (поведенческие) называют «иррациональными» или «предвзятыми», на самом деле очень адаптивны и эффективны в реальном мире. Тем не менее вопрос ОП интересен. Я думаю, однако, что может быть выгодно обратиться к более фундаментальным, описательным знаниям о наших когнитивных процессах, а не искать конкретные «предубеждения», которые соответствуют тем, которые обсуждались в экономической литературе (например, неприятие потерь, эффект одаренности, пренебрежение базой и т. д.).

Например, оцениваемость , безусловно, является проблемой при анализе данных. Теория оцениваемости утверждает, что у нас избыточный вес информации, которую мы находим легко интерпретировать или оценить. Рассмотрим случай коэффициента регрессии. Оценка «реальных» последствий коэффициента может быть тяжелой работой. Мы должны рассмотреть единицы независимой и зависимой переменной, а также распределения нашей независимой и зависимой переменной, чтобы понять, имеет ли коэффициент практическую значимость. С другой стороны, оценить значимость коэффициента легко: я просто сравниваю его значение p с моим альфа-уровнем. Учитывая большую оцениваемость p-значения по сравнению с самим коэффициентом, вряд ли удивительно, что так много сделано из p-значений.

(Стандартизация повышает оцениваемость коэффициента, но может усиливать неоднозначность : ощущение, что соответствующая информация недоступна или скрыта, поскольку «оригинальная» форма данных, которые мы обрабатываем, нам недоступна.)

Связанное с этим когнитивное «смещение» - это принцип конкретности, тенденция к избыточному весу информации, которая «тут же» в контексте решения и не требует извлечения из памяти. (Принцип конкретности также гласит, что мы, скорее всего, будем использовать информацию в том формате, в котором она предоставлена, и, как правило, избегаем выполнения преобразований.) Интерпретация p-значения может быть сделана простым рассмотрением результатов регрессии; это не требует от меня каких-либо существенных знаний о том, что я моделирую.

Я ожидаю, что многие отклонения в интерпретации статистических данных могут быть связаны с общим пониманием того, что мы, вероятно, пойдем простым путем при решении проблемы или формировании суждения (см. «Когнитивный скряга», «ограниченная рациональность» и т. Д.) , Соответственно, выполнение чего-либо «с легкостью» обычно повышает уверенность, с которой мы придерживаемся полученных убеждений ( теория беглости ). (Можно также рассмотреть возможность того, что данные, которые легче сформулировать- для нас самих или для других - переоценены в наших анализах.) Я думаю, что это становится особенно интересным, когда мы рассматриваем возможные исключения. Некоторые психологические исследования показывают, например, что если мы считаем, что проблему должно быть трудно решить, то мы можем отдать предпочтение подходам и решениям, которые являются менее конкретными и более сложными, например, выбрать более загадочный метод, чем простой.

Самый большой фактор, который я могу придумать, широко известен как «предвзятость подтверждения». Определившись с тем, что, по моему мнению, покажет мое исследование, я некритически принимаю данные, которые приводят к такому выводу, и в то же время оправдываю все данные, которые, по-видимому, опровергают его. Я могу неосознанно отклонить как «очевидную ошибку прибора» (или некоторый эквивалент) любые данные, которые не соответствуют моему заключению. В некоторых случаях это не будет столь вопиющим; вместо того, чтобы полностью отбрасывать эти точки данных, я придумаю некоторую формулу, чтобы устранить «ошибку», которая будет удобно направлять результаты в подтверждение моего предопределенного заключения.

В этом нет ничего особенно гнусного; это просто, как работает наш мозг. Требуется много усилий, чтобы отфильтровать такое смещение, и это одна из причин, по которой ученым нравится создавать двойные слепые исследования, так что человек, проводящий измерения, не знает, что эксперимент должен доказать. Затем требуется огромная дисциплина, чтобы не корректировать то, что он точно измерял.

Линейность .

Я думаю, что распространенным уклоном при интерпретации / анализе данных является то, что люди обычно быстро принимают линейные отношения. Математически регрессионная модель предполагает, что ее детерминированный компонент является линейной функцией предикторов; к сожалению, это не всегда так. Недавно я побывал на студенческой конференции по плакатам, и количество откровенно квадратичных или нелинейных трендов, которые, как я видел, было связано с линейной моделью, волновало, если не сказать больше.

$p$

Интересным примером являются дискуссии об ошибке игроков.

Должны ли существующие данные быть включены или исключены? Если я уже впереди с шестью шестерками, должны ли они быть включены в мой пробег дюжины попыток? Будьте ясны в отношении предыдущих данных.

Когда мне следует перейти от абсолютных чисел к коэффициентам? Требуется много времени, чтобы преимущество, полученное во время первой серии побед, вернулось к нулю (случайная прогулка).

0,1% от миллиона долларов, возможно, не так много для большой компании, но потерять 1000 долларов может быть жизнью и смертью для единственного трейдера (именно поэтому инвесторы хотят, чтобы «ведомые» люди вкладывали средства). Возможность перехода к процентам может быть предвзятым.

Даже статистики имеют предубеждения.

Я бы рекомендовал «Thinking, Fast и Slow» по Дэниел Канеман , что объясняет многие когнитивные предубеждения в ясном языке.

Вы также можете обратиться к « http://www.burns-stat.com/review-thinking-fast-slow-daniel-kahneman/ », в котором кратко изложены некоторые недостатки в вышеприведенной книге.

Для более подробного описания главы вы можете прочитать « https://erikreads.files.wordpress.com/2014/04/thinking-fast-and-slow-book-summary.pdf ».