Результаты выборов в США 2016: что пошло не так с моделями прогнозирования?

Сначала это был Brexit , теперь выборы в США. Многие модельные прогнозы были отклонены с большой разницей, и есть ли уроки, которые нужно здесь извлечь? Вчера в 16:00 по тихоокеанскому времени рынки ставок по-прежнему предпочитали Хиллари 4: 1.

Я полагаю, что рынки ставок с реальными деньгами на линии должны выступать в качестве совокупности всех доступных моделей прогнозирования. Так что несложно сказать, что эти модели не очень хорошо справились со своей задачей.

Я видел одно объяснение, что избиратели не желают идентифицировать себя как сторонников Трампа. Как модель может включать такие эффекты?

Одно из макро объяснений, которое я прочитал, - рост популизма . Тогда возникает вопрос: как статистическая модель может охватить такую ​​макроэкономическую тенденцию?

Являются ли эти модели прогнозирования слишком большим весом данных опросов и настроений, недостаточно того, с какой точки зрения страна стоит на 100-летней перспективе? Я цитирую комментарии друга.

Короче, опрос не всегда прост. Эти выборы, возможно, были самыми сложными.

Каждый раз, когда мы пытаемся сделать статистический вывод, фундаментальный вопрос заключается в том, является ли наша выборка хорошим представлением интересующей нас совокупности. Типичное допущение, которое требуется для многих типов статистического вывода, состоит в том, что наша выборка является полностью случайной выборкой из представляющей интерес совокупности (и часто нам также нужны выборки, чтобы быть независимыми). Если эти предположения верны, у нас обычно есть хорошие показатели нашей неопределенности, основанные на статистической теории.

Но мы определенно не имеем эти предположения, справедливые с опросами! У нас есть ровно 0 выборок из нашей группы интересов: фактические голоса, поданные в день выборов. В этом случае мы не можем сделать какой-либо действительный вывод без дальнейших, непроверенных предположений о данных. Или, по крайней мере, непроверенные до дня выборов.

Мы полностью сдаемся и говорим «50% -50%!»? Как правило, нет. Мы можем попытаться сделать то, что мы считаем разумными предположениями о том, как будут отданы голоса. Например, может быть, мы хотим верить, что опросы - это объективные оценки голосов в день выборов, плюс некоторый определенный непредвзятый временной шум (т. Е. Развитие общественного мнения с течением времени). Я не эксперт по методам опроса, но я считаю, что это тип модели 538. И в 2012 году это работало довольно хорошо. Так что эти предположения были, вероятно, довольно разумными. К сожалению, нет никакого реального способа оценить эти предположения, кроме строго качественных рассуждений. Для получения дополнительной информации по аналогичной теме см. Тему «Неоправданные пропуски».

Моя теория о том, почему в 2016 году опросы были такими неудачными: опросы не были объективными оценками поведения в день голосования. То есть, я полагаю, что сторонники Трампа (и, вероятно, сторонники Брексита) были гораздо более недоверчивы к избирателям. Помните, что мистер Трамп активно осуждает опросы. Таким образом, я думаю, что сторонники Трампа были менее склонны сообщать о своих намерениях голосовать избирателям, чем сторонники его противников. Я бы предположил, что это вызвало непредвиденный сильный уклон в опросах.

Как аналитики могли учесть это при использовании данных опроса? Основываясь только на данных опроса, нет реального способа сделать это количественно. Данные опроса ничего не говорят о тех, кто не участвовал. Однако можно улучшить качество опросов, выбрав более разумные (но не проверяемые) предположения о связи между данными опросов и поведением в день выборов. Это нетривиальная и действительно трудная часть хорошего опросчика (примечание: я не опросчик). Также обратите внимание, что результаты были очень удивительными для экспертов, так что не похоже, чтобы были явные признаки того, что предположения были дико неверными в этот раз.

Опрос может быть сложным.

Существует несколько источников ошибок опроса:

• Тебе трудно найти людей

  Это исправляется с помощью демографического анализа, а затем с поправкой на смещение выборки. Если ваш демографический анализ не отражает того, что затрудняет доступ к людям, эта коррекция не устраняет ущерб.

• Люди лгут

  Вы можете использовать исторические показатели, по которым люди лгут опросчикам, чтобы повлиять на вашу модель. Например, исторически люди заявляют, что они будут голосовать за третье лицо гораздо больше, чем на самом деле в день выборов. Ваши исправления могут быть неправильными здесь.

  Эта ложь также может испортить ваши другие исправления; если они лгут о голосовании на последних выборах, их можно считать вероятным избирателем, даже если они, например, нет.

• Только люди, которые голосуют, в конечном итоге считают

  Кто-то может иметь большую поддержку, но если его сторонники не появляются в день выборов, это не считается. Вот почему мы зарегистрировали модель избирателя, вероятного избирателя и т. Д. Если эти модели не правы, вещи не работают.

• Опрос стоит денег

  Проведение опросов стоит дорого, и если вы не ожидаете (скажем) переворота в Мичигане, вы не можете опрашивать его очень часто. Это может привести к удивлению, когда штат, который вы опросили за 3 недели до выборов, в день выборов выглядит совсем не так.

• Люди меняют свое мнение

  В течение минут, часов, дней, недель или месяцев люди меняют свое мнение. Опрос о том, «что бы вы сделали сейчас», мало поможет, если они передумают до того, как это засчитается. Существуют модели, которые приблизительно предполагают скорость, с которой люди меняют свое мнение на основе исторических опросов.

• Скотоводство

  Если все остальные утверждают, что Хиллари +3, а вы получаете опрос, показывающий Хиллари +11 или Дональда +1, вы можете задать вопрос. Вы можете сделать еще один проход и посмотреть, есть ли сбой анализа. Вы могли бы даже выбросить это и сделать другой опрос. Когда вы получаете опрос Хиллари +2 или +4, вы можете этого не делать. Массивные выбросы, даже если статистическая модель говорит, что это иногда случается, может заставить вас «выглядеть плохо».

  Особенно дурацкая форма этого произошла в день выборов, когда все, кто проводил опрос, волшебным образом сходились к одной и той же ценности; они, вероятно, где избирательные опросы, но никто не хочет быть тем, кто сказал (скажем) Хиллари +11 за день до этих выборов. Быть неправым в стаде вредит тебе меньше.

• Ожидаемая ошибка выборки

  Если у вас 1 миллион человек, и вы спросите 100 совершенно случайных людей, половина из которых ответит «Apple», а половина ответит «Orange», ожидаемая ошибка, которую вы получите при выборке, составляет +/- 10 или около того, даже если ни одна из перечисленных выше проблем не возникла. происходят. Этот последний бит , что опросы описывают , как их погрешность. Опросы редко описывают то, что вышеуказанные поправочные коэффициенты могут представить как ошибку.

Нейт Сильвер (538) был одним из немногих агрегаторов опросов, которые использовали консервативные (осторожные) средства для обработки ошибок вышеупомянутых типов. Он учел возможность системных коррелированных ошибок в моделях опроса.

В то время как другие агрегирующие агенты предсказывали, что ХС был выбран с вероятностью более 90%, Нейт Сильвер заявлял о 70%, поскольку опросы были в пределах «обычной ошибки опроса» после победы Дональда.

Это была историческая мера ошибки модели , в отличие от необработанной статистической ошибки выборки; Что делать, если модель и поправки к модели были неправильными?

Люди все еще хрустят числами. Но, предварительные результаты указывают, что большая часть это была явка моделей. Сторонники Дональда участвовали в опросах в большем количестве, а сторонники Хиллари - в меньших количествах, чем указывали модели опросов (и опросов на выход!).

Латиноамериканцы проголосовали за Дональда больше, чем ожидалось. Черные проголосовали за Дональда больше, чем ожидалось. (Большинство из них проголосовали за Хиллари). Белые женщины проголосовали за Дональда больше, чем ожидалось (больше за них проголосовало за Дональда, чем за Хиллари, чего не ожидалось).

Явка избирателей была низкой в ​​целом. Демократы, как правило, побеждают при высокой явке избирателей, а республиканцы - при низкой.

Это было упомянуто в комментариях к принятому ответу (хет-кончик Мехрдаду ), но я думаю, что это следует подчеркнуть. 538 на самом деле сделали это очень хорошо в этом цикле ^* .

538 - агрегатор опроса, который запускает модели для каждого состояния, чтобы попытаться предсказать победителя. Их финальный забег дал Трампу около 30% шансов на победу. Это означает, что если вы провели три выборов с такими данными, вы ожидаете, что Team Red победит на одном из них. Это не так уж мало шансов. Это, безусловно, достаточно большой, чтобы я принял меры предосторожности (например, в пятницу, прежде чем я попросил среду 9-го выходного на работе, учитывая вероятность того, что он достаточно близко, чтобы быть поздно ночью).

Одна вещь 538 скажет вам, если вы там тусуетесь, это то, что, если опросы выключены, есть большая вероятность, что они все будут в одном направлении. Это по нескольким причинам.

• Вероятные модели избирателей. Опросы должны учитывать типы избирателей, которые действительно появятся в день выборов. У нас есть исторические модели, но это, очевидно, не была ваша типичная пара кандидатов, поэтому прогнозирование на основе прошлых данных всегда было чем-то вроде колоссального удара.
• Позднее предвыборное скотоводство . Никто не хочет, чтобы голосование провалило выборы хуже всего. Таким образом, хотя они не возражают против того, чтобы выделяться в середине кампании, в конце все опросы склонны подстраиваться так, что они говорят то же самое. Это одна из вещей, которую обвиняют в том, что опросы были настолько вопиюще отклонены в неожиданной потере Эрика Кантора в 2014 году, а также в неожиданно близких результатах гонки Сената Вирджинии 2014 года .

^{* - 538 опубликовал собственный анализ . Это в основном соответствует сказанному выше, но стоит прочитать, если вам нужно больше подробностей.}

Теперь немного личных предположений. Я на самом деле скептически относился к последним% шансов 538 за последние 3 дня. Причина восходит к этой второй пуле выше. Давайте посмотрим на историю их модели для этих выборов (с их сайта)

(К сожалению, ярлыки скрывают это, но после этого кривые снова расходились в течение последних трех дней с вероятностью более 70% для Клинтона)

Паттерн, который мы видим здесь, - это повторяющаяся дивергенция с последующим затуханием в направлении отведения Трампа. Все пузыри Клинтона были вызваны событиями. Первым были соглашения (обычно есть пара дней после события, чтобы оно начало появляться в опросе). Второе, кажется, было начато первыми дебатами, вероятно, поддержанными лентой TMZ. Тогда есть третья точка перегиба, которую я отметил на картинке.

Это произошло 5 ноября, за 3 дня до выборов. Какое событие вызвало это? За пару дней до этого была еще одна электронная почта, но это не должно было сработать в пользу Клинтона.

Лучшим объяснением, которое я мог придумать в то время, было скотоводство. До выборов оставалось всего 3 дня, до финальных выборов - 2 дня, и избиратели начали беспокоиться об их окончательных результатах. «Общепринятая мудрость» на всех этих выборах (о чем свидетельствуют модели ставок) была легкой победой Клинтона. Так что казалось вполне вероятным, что это вовсе не было настоящим перегибом. Если бы это было так, истинная кривая с 5 ноября была вполне вероятной продолжением этой кривой к конвергенции.

Без этого подозрительного конечного перегиба потребовался бы лучший математик, чем я, чтобы оценить здесь кривую вперед, но, глядя на это, я думаю, что 8 ноября было бы около точки пересечения . Спереди или сзади зависит от того, сколько из этой кривой было на самом деле реально.

Теперь я не могу точно сказать, что это случилось. Есть и другие очень правдоподобные объяснения (например: Трамп вывел своих избирателей намного лучше, чем ожидал любой опросщик) Но это была моя теория о том, что происходило в то время, и она, безусловно, оказалась прогностической.

Сначала это был Brexit, теперь выборы в США.

Не совсем первые, например, президентские выборы во Франции в 2002 году "привели к серьезным дискуссиям о методах голосования".

Так что несложно сказать, что эти модели не очень хорошо справились со своей задачей.

Мусор на входе, мусор на выходе.

Я видел одно объяснение, что избиратели не желают идентифицировать себя как сторонника Трампа. Как модель может включать такие эффекты?

См. Смещение ответа , и в частности смещение социальной желательности . Другие интересные чтения: молчаливое большинство и эффект Брэдли .

У опроса USC / LA Times есть некоторые точные числа. Они предсказывали, что Трамп будет в лидерах. Посмотрите опрос USC / LA Times, который показал, что пропустили другие опросы: волна поддержки Трампа

http://www.latimes.com/politics/la-na-pol-usc-latimes-poll-20161108-story.html

У них были точные цифры и на 2012 год.

Вы можете просмотреть: http://graphics.latimes.com/usc-presidential-poll-dashboard/

А NY Times жаловалась на их взвешивание: http://www.nytimes.com/2016/10/13/upshot/how-one-19-year-old-illinois-man-is-distorting-national-polling-averages. HTML

Ответ LA Times: http://www.latimes.com/politics/la-na-pol-daybreak-poll-questions-20161013-snap-story.html

Никакой возвышенности здесь не заявлено. Я работаю в области (Мониторинг и оценка), которая так же богата псевдонаукой, как и любая другая общественная наука, которую вы можете назвать.

Но дело в том, что сегодня избирательная индустрия, по-видимому, находится в «кризисе», потому что она так неправильно сделала прогнозы на выборах в США, что у социальной науки в целом повторяется «кризис», и еще в конце 2000-х у нас был мировой финансовый «кризис», потому что некоторые практики полагали, что субстандартные ипотечные деривативы были допустимой формой финансовых данных (если мы дадим им преимущество сомнения ...).

И мы все просто ошибаемся. Каждый день я вижу самые сомнительные конструкции исследователей, которые используются в качестве методов сбора данных и, следовательно, в конечном итоге используются в качестве данных (от квази-порядковых шкал до самых лидирующих категорий с фиксированными ответами). Очень немногие исследователи, похоже, осознают, что им нужно иметь концептуальную основу для таких конструкций, прежде чем они смогут надеяться понять свои результаты. Это как если бы мы рассмотрели подходы к исследованию рынка и решили принять только худшую из их ошибок, добавив немного нумерологии на стороне.

Мы хотим, чтобы нас считали «учеными», но все это слишком сложно для нас, поэтому мы собираем мусорные данные и молимся богу статистики, похожему на Локи, чтобы волшебным образом перевесить аксиому ГИГО.

Но, как указывает г-н Фейнман:

«Неважно, насколько прекрасна ваша теория, не важно, насколько вы умны. Если это не соответствует эксперименту, это неправильно ».

Существуют более эффективные способы обработки качественных данных, с которыми мы часто застряли, но они требуют немного больше работы, и эти замечательные конструкции исследователя часто гораздо проще передать в SPSS. Удобство, кажется, побеждает науку каждый раз (не каламбур).

Короче говоря, если мы не начнем серьезно относиться к качеству необработанных данных, я думаю, что мы просто тратим впустую время и деньги каждого, включая свое собственное. Так же кто-то хочет сотрудничать в «инициативе по обеспечению качества данных» в отношении методов социальных наук (да, в учебниках есть много о таких вещах, но никто не обращает внимания на этот источник после экзаменов).

Тот, кто обладает наибольшим академическим авторитетом, становится лидером! (Это не я.)

Просто чтобы прояснить мой ответ здесь: я вижу серьезные фундаментальные проблемы с «надуманными» необработанными типами данных так часто, что я хотел бы предложить начать с самого начала. Таким образом, даже прежде, чем мы будем беспокоиться о выборке или о том, какие тесты будут выполняться на данных, нам нужно посмотреть на достоверность / ограничения типов данных, которые мы собираем, в отношении предлагаемых моделей. В противном случае общая прогностическая модель не полностью определена.

Опросы, как правило, имеют погрешность в 5%, от которой вы не можете избавиться, потому что это не случайная ошибка, а систематическая ошибка. Даже если вы в среднем по многим опросам, это не намного лучше. Это связано с искаженными группами избирателей, отсутствием мобилизации, неспособностью идти на голосование в рабочий день, нежеланием отвечать, нежеланием отвечать правильно , спонтанными решениями в последнюю минуту, ... потому что этот уклон имеет тенденцию быть "коррелированным" через опросы, вы не можете избавиться от этого с большим количеством опросов; вы также не можете избавиться от него с помощью больших размеров выборки; и вы также не можете предсказать этот уклон, потому что он меняется слишком быстро (и мы слишком редко выбираем президентов).

Из-за глупого принципа «победитель получает все», который все еще присутствует почти во всех штатах, ошибка в 5% может привести к совершенно разным результатам: предположим, что опросы всегда предсказывали 49-51, но реальный результат был 51-49 (поэтому ошибка только 2%), результат 100%; из-за победителя получает все.

Если вы посмотрите на отдельные состояния, большинство результатов находятся в пределах предсказанных полей ошибок!

Вероятно, лучшее, что вы можете сделать, это сэмплировать это смещение (+ -5%), применить крайности «победитель получает все», а затем агрегировать результаты. Это, вероятно, похоже на то, что сделали 538; и в 30% образцов Дональд Трамп выиграл ...

$\small 400,000$

В конце концов, это выявило колоссальную неудачу численного анализа, чтобы восполнить недостаток знаний предмета. Людям было стыдно за явное принятие победившего кандидата по понятным причинам.

Худшая компьютерная модель могла бы стать ближе к исходу, если бы кто-то потрудился провести предварительный опрос лицом к лицу, стуча в двери. Вот пример: у Трафальгарской группы (без аффилированности или знаний, кроме той, которая следует ниже) Трамп лидировал в ПА, ФЛ, МИ, ГА, УТ и НВ (это последнее состояние стало в конечном итоге синим) за день до выборов. В чем была магия?

комбинация опроса респондентов как со стандартным испытанием для голосования, так и с проведением голосования [sic], в котором находятся соседи респондента. Это учитывает основную предвзятость традиционного опроса, когда респонденты не совсем правдивы в отношении своей позиции в отношении весьма спорных кандидатов.

Довольно низкотехнологичный, в том числе отсутствие проверки орфографии, в цифрах многое говорит о человеческой природе. Вот несоответствие в ПА :

Историческая Пенсильвания - настолько далека от того, чтобы восприниматься как последняя капля в демократическом поражении всего за несколько часов до этого заключительного осознания в 1:40 9 ноября 2016 года:

Одна из причин неточности голосования на выборах в США, кроме того, что некоторые люди по какой-либо причине не говорят правду о том, что эффект «победитель забирает все» делает прогнозы еще проще. Разница в 1% в одном штате может привести к полной смене штата и очень сильно повлиять на весь результат. У Хиллари было больше избирателей, как у Эла Гора против Буша.

Референдум по Брекситу не был нормальными выборами, и поэтому его было сложнее предсказать (нет хороших исторических данных, и каждый был как первый раз в этом вопросе). Люди, которые десятилетиями голосуют за одну и ту же партию, стабилизируют прогнозы.

(Просто отвечая на этот бит, так как другие ответы, кажется, охватили все остальное.)

Вчера в 16:00 по тихоокеанскому времени рынки ставок все еще предпочитали Хиллари 4: 1. Я полагаю, что рынки ставок с реальными деньгами на линии должны выступать в качестве ансамбля всех доступных моделей прогнозирования.

Нет ... но косвенно да

Рынки ставок спроектированы таким образом, чтобы букмекеры получали прибыль независимо от того, что происходит. Например, говорят, что в настоящее время цитируемые шансы были 1-4 на Хилари и 3-1 на Трампа. Если все следующие десять человек поставят 10 долларов на Хилари, то эти 100 долларов будут стоить им 25 долларов, если Хилари победит. Поэтому они сокращают Хилари до 1-5 и поднимают Трампа до 4-1. Все больше людей делают ставки на Трампа, и баланс восстанавливается. Т.е. он основан исключительно на том, как люди делают ставку, а не на знатоках или моделях прогнозирования.

Но, конечно, клиенты букмекеров смотрят на эти опросы и слушают этих экспертов. Они слышат, что Хилари на 3% впереди, мертвый сертификат, чтобы выиграть, и решают, что быстрый способ заработать 10 долларов - это поставить на нее 40 долларов .

Косвенно эксперты и опросы изменяют шансы.

(Некоторые люди также замечают, что все их друзья на работе будут голосовать за Трампа, поэтому сделайте ставку на него; другие заметят, что все посты их друзей в Фейсбуке - про-Хилари, поэтому сделайте ставку на нее, чтобы на нее повлияло немного реальности. их, таким образом.)

Неудивительно, что эти усилия не увенчались успехом, если учесть несоответствие между тем, какая информация имеет доступ к моделям, и какая информация влияет на поведение в кабине для голосования. Я размышляю, но модели, вероятно, принимают во внимание:

• различные результаты предвыборных опросов
• историческое положение государства (синий / красный)
• исторические результаты предыдущих выборов с нынешним состоянием / прогнозами

Но предвыборные опросы ненадежны (в прошлом мы видели постоянные неудачи), штаты могут перевернуться, и в нашей истории не было достаточного количества циклов выборов, чтобы учесть множество ситуаций, которые могут возникать и возникают. ,

Еще одним осложнением является слияние всенародного голосования с коллегией выборщиков. Как мы видели на этих выборах, всенародное голосование может быть очень близко внутри штата, но как только государство выиграет, все голоса будут отданы за одного кандидата, поэтому на карте так много красного цвета.

Модели опроса не учитывали, сколько либертарианцев могут перейти от Джонсона к Трампу, когда дело доходит до фактического голосования. Государства, которые выиграли с небольшим отрывом, были выиграны в зависимости от того, какой процент голосов получил Джонсон. ПА (который подтолкнул Трампа за 270 баллов в ночь на выборах) дал Джонсону всего 2%. NH (который пошел к Клинтону) дал 4% + Джонсону. Джонсон голосовал на уровне 4% -5% за день до выборов, и он получил примерно 3% в день выборов.

Так почему же либертарианцы внезапно переключились на день выборов? Никто не задумывался над тем, что было центральной проблемой для либертарианских избирателей. Они склонны рассматривать буквальное толкование Конституции как канон. Большинство людей, которые голосовали за Клинтон, не думали, что ее пренебрежение законом было достаточно высоким приоритетом, чтобы рассмотреть. Конечно, не выше всего, что им не нравилось в Трампе.

Независимо от того, были ли ее правовые проблемы важны или нет для других, они были бы важны для либертарианцев. Они будут уделять первоочередное внимание тому, чтобы не пускать на работу кого-то, кто рассматривает соблюдение законодательства как необязательное в лучшем случае. Таким образом, для многих из них удержание Клинтона от должности стало бы более важным приоритетом, чем утверждение, что либертарианская философия является жизнеспособной политической философией.

Многим из них, возможно, даже не понравился Трамп, но если бы они думали, что он будет более уважительно относиться к верховенству закона, чем Клинтон, прагматизм победил бы принципы для многих из них и заставил бы их изменить свой голос, когда он пришло время на самом деле голосовать.

Опросы не являются историческими тенденциями. Байесовец поинтересовался бы историческими тенденциями. Начиная с Авраама Линкольна, была президентская партия Республиканской партии и Демократическая партия. С тех пор тенденция изменения партий в Википедии 16 раз имеет следующую кумулятивную функцию массы

$x$

Что заставило журналистов, Демократическую партию и социологов думать, что шансы на победу либералов были, пожалуй, желанными. Поведение может быть предсказуемым, в определенных пределах, но в этом случае демократы хотели, чтобы люди не голосовали за перемены, и с исторической точки зрения, более вероятно, что они будут, чем нет.

Я думаю, что результаты опроса были экстраполированы до такой степени, что публика предположила, что демографические данные избирателей будут аналогичны демографическим характеристикам участников опроса и будут хорошим представлением всего населения. Например, если 7 из 10 меньшинств поддержали Хиллари в опросах, и если это меньшинство представляет 30% населения США, в большинстве опросов предполагалось, что 30% избирателей будут представлены этим меньшинством и переведены в этот 21% прирост для Хиллари. На самом деле белые мужчины среднего и высшего класса были лучше представлены среди избирателей. Голосовали менее 50% подходящих людей, и это не означало, что 50% от всех полов, рас и т. Д.

Или, опросы предполагали совершенную рандомизацию и основывали свои модели на этом, но в действительности данные об избирателях были смещены в сторону более старых мужчин среднего и высшего класса.

Или опросы точно не предполагали идеальную рандомизацию, но их параметры экстраполяции недооценивали неоднородность демографии избирателей.

ETA: Опросы предыдущих двух выборов прошли лучше из-за повышенного внимания к голосованию группами, которые обычно не представлены должным образом.

HoraceT и CliffAB (извините, слишком долго за комментарии) Боюсь, у меня есть целая жизнь примеров, которые также научили меня, что мне нужно быть очень осторожным с их объяснениями, если я хочу избежать оскорблений людей. Поэтому, пока я не хочу вашей снисходительности, я прошу вашего терпения. Поехали:

Чтобы начать с крайнего примера, я однажды увидел предложенный опросный вопрос, который задавал неграмотным сельским фермерам (Юго-Восточная Азия), чтобы оценить их «экономическую норму прибыли». Оставляя пока варианты ответов, мы можем надеяться, что все увидят, что это глупо, но последовательно объяснить, почему это глупо, не так просто. Да, мы можем просто сказать, что это глупо, потому что респондент не поймет вопрос и просто отклонит его как семантическую проблему. Но это действительно не достаточно хорошо в контексте исследования. Тот факт, что этот вопрос когда-либо предлагался, подразумевает, что у исследователей есть внутренняя изменчивость в том, что они считают «глупым». Чтобы решить эту проблему более объективно, мы должны сделать шаг назад и прозрачно объявить соответствующую основу для принятия решений по таким вопросам. Есть много таких вариантов,

Итак, давайте предположим, что у нас есть два основных типа информации, которые мы можем использовать в анализе: качественный и количественный. И что эти два связаны между собой трансформационным процессом, так что вся количественная информация начиналась как качественная информация, но проходила следующие (упрощенно) этапы:

1. Соглашение (например, мы все решили, что [независимо от того, как мы его индивидуально воспринимаем], что мы все будем называть цвет дневного открытого неба «синим»).
2. Классификация (например, согласно этой конвенции мы оцениваем все в комнате и разделяем все предметы на «синие» или «не синие» категории)
3. Подсчитать (мы считаем / определяем количество синих вещей в комнате)

Обратите внимание, что (согласно этой модели) без шага 1 не существует такого понятия, как качество, и если вы не начнете с шага 1, вы никогда не сможете создать значимое количество.

После того, как заявлено, все это выглядит очень очевидным, но именно такие наборы первых принципов (как мне кажется) чаще всего игнорируются и поэтому приводят к «мусору».

Таким образом, «глупость» в вышеприведенном примере становится очень ясно определяемой как неспособность установить общее соглашение между исследователем и респондентами. Конечно, это крайний пример, но гораздо более тонкие ошибки могут быть одинаково порождающими мусор. Другой пример, который я видел, - это опрос фермеров в сельских районах Сомали, который задал вопрос: «Как изменение климата повлияло на вашу жизнедеятельность?». Опять же, отложив варианты ответа на данный момент, я бы предложил даже спросить фермеров на Среднем Западе. Соединенные Штаты могут привести к серьезному отказу от использования общего соглашения между исследователем и респондентом (то есть относительно того, что измеряется как «изменение климата»).

Теперь давайте перейдем к вариантам ответа. Позволяя респондентам самостоятельно кодировать ответы из набора вариантов с множественным выбором или аналогичной конструкции, вы продвигаете эту проблему «соглашения» и в этот аспект опроса. Это может быть хорошо, если мы все будем придерживаться эффективных «универсальных» соглашений в категориях ответов (например, вопрос: в каком городе вы живете? Категории ответов: список всех городов в области исследований [плюс «не в этой области»]). Тем не менее, многие исследователи на самом деле гордятся тонкими нюансами своих вопросов и категорий ответов для удовлетворения своих потребностей. В том же опросе, в котором появился вопрос о «уровне экономической отдачи», исследователь также попросил респондентов (бедных сельских жителей) указать, в какой сектор экономики они внесли свой вклад: с категориями ответов «производство», «обслуживание», «производство» и «маркетинг». Опять же, здесь возникает проблема качественного соглашения. Однако, поскольку он сделал ответы взаимоисключающими, так что респонденты могли выбрать только один вариант (потому что «так проще кормить SPSS»), а сельские фермеры регулярно производят зерновые культуры, продают свой труд, производят изделия кустарного промысла и принимают все, чтобы Сами местные рынки, этот конкретный исследователь не просто имел проблему соглашения со своими респондентами, у него был тот с самой реальностью.

Вот почему старые скучные люди, такие как я, всегда будут рекомендовать более трудоемкий подход применения кодирования к пост-сбору данных, поскольку, по крайней мере, вы сможете адекватно обучать программистов конвенциям, проводимым исследователями (и обратите внимание, что пытаясь передать такие соглашения респондентам в инструкции по опросу - это игра в кружку, просто поверь мне в этом). Также обратите внимание, что если вы принимаете вышеупомянутую «информационную модель» (которая, опять же, я не утверждаю, что вы должны), это также показывает, почему квази-порядковые шкалы ответов имеют плохую репутацию. Это не только основные математические вопросы в соответствии с соглашением Стивена (то есть вы должны определить значимое происхождение даже для ординалов, вы не можете добавлять и усреднять их и т. Д. И т. Д.), Кроме того, они часто никогда не проходили через какой-либо прозрачно объявленный и логически последовательный преобразовательный процесс, который мог бы составить «количественную оценку» (т. е. расширенную версию модели, использованной выше, которая также включает в себя генерацию «порядковых величин») - это не сложно сделать]). В любом случае, если она не удовлетворяет требованиям, предъявляемым к качественной или количественной информации, исследователь фактически заявляет, что обнаружил новый тип информации вне рамок, и поэтому на них лежит обязанность полностью объяснить ее фундаментальную концептуальную основу ( т.е. прозрачно определить новую структуру).

Наконец, давайте посмотрим на вопросы выборки (и я думаю, что это согласуется с некоторыми другими ответами уже здесь). Например, если исследователь хочет применить соглашение о том, что представляет собой «либерального» избирателя, он должен быть уверен, что демографическая информация, которую он использует для выбора режима выборки, соответствует этой конвенции. Этот уровень обычно легче всего идентифицировать и иметь с ним дело, поскольку он в значительной степени находится под контролем исследователя и чаще всего является типом предполагаемого качественного соглашения, которое открыто декларируется в исследованиях. Именно поэтому этот уровень обычно обсуждается или подвергается критике, в то время как более фундаментальные вопросы остаются без внимания.

Таким образом, хотя опрашивающие придерживаются таких вопросов, как «за кого вы планируете голосовать в данный момент?», Мы, вероятно, все еще в порядке, но многие из них хотят стать намного «более любопытными», чем эта…