Интеллектуальная оценка и определение победителя

Существует подкаст NPR под названием Intelligence Squared. Каждый эпизод - это прямая трансляция дебатов по некоторым спорным заявлениям, таким как «Вторая поправка больше не актуальна» или «Позитивные действия в студенческих городках приносят больше вреда, чем пользы». Четыре представителя спорят - два за движение и два против.

Чтобы определить, какая сторона победит, аудитория опрашивается как до, так и после дебатов. Сторона, которая получила больше в абсолютном процентном соотношении, считается победителем. Например:

          For    Against  Undecided
 Before   18%      42%       40%
 After    23%      49%       28%

 Winner: Against team -- The motion is rejected.

Интуитивно, я думаю, что эта мера успеха является предвзятой, и мне интересно, как можно опрашивать аудиторию, чтобы честно определить победителя.

Три проблемы, которые я сразу вижу при использовании текущего метода:

В крайнем случае, если одна сторона начинает со 100% согласия, они могут только связать или проиграть.
Если нет неопределенных, то сторона с меньшим начальным согласием может рассматриваться как имеющая больший размер выборки, из которой можно извлечь.
Нерешительная сторона вряд ли будет по-настоящему нерешенной. Если мы предположим, что обе стороны в равной степени поляризованы, кажется, что наше предварительное мнение о неопределившейся популяции должно быть если каждая из них была вынуждена принять сторону , $\text{Beta}(\text{# For}, \text{# Against})$

Учитывая, что мы должны полагаться на опрос аудитории, есть ли более справедливый способ судить, кто победит?

bayesian rating

— Уэсли Тэнси
источник

Я думаю, что что-то вроде «соотношение« против »и« после », разделенное на« соотношение «против» и «до» (по сути, отношение шансов), будет лучшим выбором. Если он выше 1, вы улучшили свои шансы, если меньше 1, вы этого не сделали.

— Glen_b

Это была моя первоначальная мысль, хотя я сформулировал это как процентное увеличение. Я просто не уверен, как доказать, что это объективная оценка.

— Уэсли Тэнси

Непредвзятая оценка чего? Я не уверен, что объективность является особенно желательным свойством для этого.

— Glen_b

Насколько хорошо каждая сторона сделала. В идеале мы не хотели бы искажать результат, основываясь на первоначальном ответе толпы. Или я могу думать об этом совершенно неправильно ...

— Уэсли Тэнси

Ах, я думаю, что мы используем уклон немного по-другому. Будет ли мое предложение предвзятым в этом смысле, зависит от того , что именно вы пытаетесь измерить. По одной из популярных мер, он прекрасно справляется с этой проблемой.

— Glen_b

Ответы:

Ваши проблемы хорошо обоснованы. К сожалению, существует много оправданных, объективных способов решения этой проблемы, и они могут конфликтовать друг с другом. Следующий анализ предоставляет основу для принятия решения о том, как вы можете оценить результат, и показывает, насколько ваши выводы зависят от ваших предположений относительно динамики ситуации.

Мы практически не контролируем первоначальную аудиторию. Это может не представлять большую популяцию (например, всех зрителей), в которой мы больше заинтересованы. Поэтому абсолютное количество мнений не имеет большого значения: важны скорости, с которых люди могут передумать. (Из этих показателей мы могли оценить, как может измениться аудитория, учитывая информацию об их первоначальных мнениях, даже если пропорции мнений в аудитории слушателей отличаются от аудитории студии, которая была опрошена.)

Таким образом, результат состоит из шести возможных изменений мнения и шести связанных темпов изменения:

Те «за» кого я индексирует с может изменить свое мнение и в конечном итоге либо против (с индексом ) при скорости или нерешительности (с индексом ) при скорости . $1,$ $2$ $a_{12}$ $3$ $a_{13}$
Те «против» могут изменить свой ум «за» при скорости или «неопределившихся» со скоростью . $a_{21}$ $a_{23}$
Определившиеся могут изменить свое мнение , чтобы «за» со скоростью или «против» при скорости $a_{31}$ $a_{32}.$

Определите , для чтобы быть долей людей с индексом не передумали. $a_{ii}$ $i=1,2,3,$ $i$

Столбцы матрицы содержат неотрицательные числа, которые должны добавить к единице (при условии, что каждый, кто откликнется на первоначальный опрос, также ответит на последний). Это оставляет шесть независимых значений для определения на основе перехода от начального распределения в аудитории, , к окончательному распределению $\mathbb{A}=(a_{ij})$ $x=(0.18, 0.42, 0.40)$ $y=(0.23, 0.49, 0.28) = \mathbb{A}x$ , Это недоопределенная система (ограниченных) линейных уравнений, оставляющая огромную гибкость в получении решения. Давайте посмотрим на три решения.

Решение 1: наименьшее изменение

Мы могли бы попросить, чтобы матрица перехода была в некотором смысле настолько малой, насколько это возможно. Одним из способов является минимизация общего количества людей, которые меняют свое мнение. Это достигается в примере с решением $\mathbb{A}$

A = (\begin{array}{ccc} 1 & 0 & 0.125 \\ 0 & 1 & 0.175 \\ 0 & 0 & 0.700 \end{array}) .

$\mathbb{A}=\left( \begin{array}{ccc} 1 & 0 & 0.125 \\ 0 & 1 & 0.175 \\ 0 & 0 & 0.700 \\ \end{array} \right).$

То есть неразрешенных оказались за, из них оказались против, и ни один из первоначальных противников не изменил свое мнение. Кто выиграл? Очевидно, что это объясняется тем, что дискуссия убедила большую часть нерешительных людей согласиться с мнением «против». $12.5\%$ $17.5\%$

Эта модель была бы уместна, если вы считаете, что первоначальные фракции ужесточены по отношению к их мнению, и единственные люди, которые могут изменить свое мнение, находятся среди тех, кто первоначально был объявлен нерешенным.

Решение 2: Наименьшие квадраты

Математически простое решение - найти матрицу которой квадрат нормы настолько мало, насколько это возможно: это сводит к минимуму сумму квадратов всех девяти вероятностей переходов (которые включают представляющие пропорции, которые не меняют свое мнение). Его решение (округленное до двух знаков после запятой) $\mathbb{A}$ $L^2$ $||\mathbb{A}||_2^2 = tr(\mathbb{A}^\prime \mathbb{A})$ $a_{ii}$

A = (\begin{array}{ccc} 0.28 & 0.22 & 0.22 \\ 0.41 & 0.51 & 0.50 \\ 0.31 & 0.27 & 0.28 \end{array}) .

$\mathbb{A} = \left( \begin{array}{ccc} 0.28 & 0.22 & 0.22 \\ 0.41 & 0.51 & 0.50 \\ 0.31 & 0.27 & 0.28 \\ \end{array} \right).$

$22\%$ $27\%$ $41\%$ $31\%$ $50\%$ $22\%$

$1/3$

Решение 3: Наказанные наименьшие квадраты

$\mathbb{A}$ $\omega_i$ $\mathbb{A}$

| | A | |_{2}^{2} - ω_{1} a_{11} - ω_{2} a_{22} - ω_{3} a_{33}

$||\mathbb{A}||_2^2 - \omega_1 a_{11} - \omega_2 a_{22} - \omega_3 a_{33}$

$\omega = (1,1,1/2)$

A = (\begin{array}{ccc} 0.91 & 0 & 0.17 \\ 0.03 & 0.93 & 0.23 \\ 0.06 & 0.07 & 0.60 \end{array}) .

$\mathbb{A} = \left( \begin{array}{ccc} 0.91 & 0 & 0.17 \\ 0.03 & 0.93 & 0.23 \\ 0.06 & 0.07 & 0.60 \\ \end{array} \right).$

$40\%$ $17\%$ $23\%$

Резюме

В этой переходной модели изменения мнения большинство методов решения указывают на победу «против» в этом конкретном примере. Отсутствуют какие-либо сильные мнения о динамике перемен, что говорит о том, что «против» победила сторона.

$(.20,.60,.20)$ $(.30,.40,.30)$ $20\%$ $30\%$ $40\%$ $30\%$ , Однако (округленное) решение по методу наименьших квадратов, по крайней мере, предполагает, что это может произойти так, что дебаты слегка поддержат другую сторону! это

A = (\begin{array}{ccc} 0.32 & 0.29 & 0.32 \\ 0.36 & 0.42 & 0.36 \\ 0.32 & 0.29 & 0.32 \end{array}) .

$\mathbb{A} = \left( \begin{array}{ccc} 0.32 & 0.29 & 0.32 \\ 0.36 & 0.42 & 0.36 \\ 0.32 & 0.29 & 0.32 \\ \end{array} \right).$

$36\%$ $29\%$ $(36\%)$ $32\%$

Дополнительные комментарии

$\mathbb{A}$

— Whuber
источник

Спасибо за подробный пост! Я обеспокоен тем, что во всех этих методах не учитывается вероятность того, что нерешительные люди на самом деле не определились.

— Уэсли Тэнси

У них есть возможность учесть вашу озабоченность по поводу этой возможности. Вы по-прежнему застряли с необходимостью делать (сильные) предположения: если вы думаете, что они на самом деле не определились, вам придется оценить, какая пропорция «за», а какая «против» (и было бы глупо предполагать, пропорции такие же, как и для числа: число против!) Один из способов обойти такую оценку - хотя бы посмотреть, как может выглядеть результат - это выбрать решение, которое вознаграждает за изменение мнения нерешенного человека.

— whuber

Если предположить, что обе стороны имеют одинаковую поляризацию, не будет ли ваша оценка MAP нерешенных людей отношением «за: против»?

— Уэсли Тэнси

В большинстве случаев было бы трудно поддержать такое предположение. Например, менее информированные люди могут иметь большую склонность к неопределенности, а также склонны в конечном итоге отдавать предпочтение одной из двух позиций. Эффект «одинаково поляризационного» предположения может быть настолько сильным (особенно, когда существует большая доля неопределившихся), чтобы сделать последующий анализ не относящимся к делу: результаты будут в первую очередь следствием этого предположения. Для вас может быть полезным продумать способ сбора дополнительной информации о нерешенных людях.

— whuber

p ({for}_{after}, {against}_{after}, {undecided}_{after} ∣ {for}_{before}, {against}_{before}, {undecided}_{before})

$\begin{equation} p(\textrm{for}_\textrm{after},\textrm{against}_{\textrm{after}},\textrm{undecided}_{\textrm{after}} \mid \textrm{for}_\textrm{before},\textrm{against}_{\textrm{before}},\textrm{undecided}_{\textrm{before}}) \end{equation}$

0.5

$0.5$ для обеих команд. Обратите внимание, что есть еще несколько вариантов для правила принятия решений, так как пространство результатов является двумерным, но, если мы доверяем прогнозной модели, это не имеет значения с точки зрения честности конкурса. Можно, например, просто решить, что команда «за» выигрывает, если соотношение «за» и «против» после дебатов превышает ее прогнозную медиану (при условии предварительного опроса).

Идеи для построения прогностической модели

\begin{aligned} (P (for ∣ for before), P (ud ∣ for before), P (ag ∣ for before)) & \sim D i r (a_{f f}, a_{u f}, a_{a f}) \\ (P (for ∣ ud before), P (ud ∣ ud before), P (ag ∣ ud before)) & \sim D i r (a_{f u}, a_{u u}, a_{a u}) \\ (P (for ∣ ag before), P (ud ∣ ag before), P (ag ∣ ag before)) & \sim D i r (a_{f a}, a_{u a}, a_{a a}), \end{aligned}

$\begin{align} (P(\textrm{for} \mid \textrm{for before}),P(\textrm{ud} \mid \textrm{for before}),P(\textrm{ag} \mid \textrm{for before})) & \sim Dir(a_{ff},a_{uf},a_{af}) \\ (P(\textrm{for} \mid \textrm{ud before}),P(\textrm{ud} \mid \textrm{ud before}),P(\textrm{ag} \mid \textrm{ud before})) & \sim Dir(a_{fu},a_{uu},a_{au}) \\ (P(\textrm{for} \mid \textrm{ag before}),P(\textrm{ud} \mid \textrm{ag before}),P(\textrm{ag} \mid \textrm{ag before})) & \sim Dir(a_{fa},a_{ua},a_{aa}), \end{align}$

P

$P$

a

$a$

a

$a$

a

$a$

a_{f f} = a_{a a}

$a_{ff}=a_{aa}$

a_{f u} = a_{a u}

$a_{fu}=a_{au}$

$a$

— Юхо Коккала
источник

Не могли бы вы развить идею прогнозирующей модели на примере?

— Уэсли Тэнси

@WesleyTansey Я понял, что можно использовать идею Уабера о рассмотрении вероятностей переходов, чтобы построить прогностическую модель для целей моего ответа. Я отредактировал свой ответ, чтобы он содержал некоторые первоначальные идеи, но я не пытался реализовать это, и в настоящее время я не планирую.

— Юхо Коккала