Как относиться к нелогичным ответам на опрос

Я представил опрос для образца художников. Один из вопросов состоял в том, чтобы указать процентную долю дохода, полученную от: художественной деятельности, государственной поддержки, частной пенсии, деятельности, не связанной с искусством. Около 65% респондентов ответили так, что сумма процентов равна 100. Остальные нет: например, есть те, кто отвечает, что 70% их дохода получены в результате его / ее художественной деятельности, а 60% - правительством доходов. , и так далее. Мой вопрос: как мне относиться к этим наблюдениям? Должен ли я удалить, изменить или оставить их? Спасибо!

Это хорошая ситуация для анализа чувствительности. Проанализируйте свои данные каждым из трех способов -

1. Как они есть
2. После исключения «нелогичных», то есть людей, чей процент не суммируется до 100 (или 100 +/- 10)
3. После корректировки, где это необходимо, чтобы проценты каждого человека составляли до 100

Затем сравните результаты, поделитесь любым обоснованием, которое вы можете разработать, относительно того, какие результаты могут быть более точными или более точными в определенных отношениях.

Вы также можете исследовать диапазон различий в логике и нелогичности, если таковые имеются. Нелогичные, как правило, сообщают о более высоких доходах? Чтобы показать большую поддержку определенных идей или программ? Чтобы пропустить больше вопросов? Чтобы проявить больше предвзятости в смысле прямого или непропорционального выбора средних ответов или крайних ответов?

Приблизительно с 400 или этими нелогичными данными у вас достаточно данных даже для того, чтобы оценить взаимосвязь между степенью нелогичности и степенью смещения данного типа. Что-то вроде отношения доза-ответ.

То, что вы узнаете из этих исследований, может быть использовано в вашем плане действий с нелогичными, когда речь заходит об основных анализах интереса.

Как уже упоминалось здесь , эти ответы не обязательно нелогичны. Например, вы говорите

Другие этого не делают: например, есть те, кто отвечает, что 70% их дохода получают от его / ее художественной деятельности, а 60% - от правительства доходов, и так далее.

Это имеет смысл, если 30% дохода получают от художественной деятельности, проделанной для правительства. Тогда у нас действительно есть три группы:

• Художественная деятельность, не связанная с государством: 40%.
• Правительство, не связанное с художественной деятельностью: 30%.
• Художественная деятельность субсидируется государством: 30%.

Эти цифры составляют до 100%.

Рассмотрим следующие вопросы:

• Государственные талоны на питание или деятельность не связаны с искусством?
• Правительство социального обеспечения или пенсия?
• Является ли государственная пенсия (бывший государственный служащий) частной пенсией или государственной?
• Является ли правительственный грант для рисования живописи художественной деятельностью или правительством?
• Является ли работа, преподающая искусство в местном школьном правительстве, художественной деятельностью или деятельностью, не связанной с искусством?
• Если пенсионер ушел с работы в области искусства (преподавательская или коммерческая деятельность, например, рисование подарочных карт), является ли пенсия частной или художественной деятельностью? Или в случае обучения, возможно, правительство?

Вы, кажется, хотите, чтобы эти категории были взаимоисключающими. Тем не менее, я не думаю, что все будут интерпретировать их таким образом. У вас могут быть четкие мысли о том, как следует классифицировать эти действия, но не ясно, что у ваших респондентов были те же различия, когда они отвечали. Как минимум, если вы хотите, чтобы числа добавлялись к 100%, вы должны сказать об этом людям.

Лично я считаю, что лучший подход к решению проблемы такого рода - это создать своего рода фокус-группу. В традиционном опросе вы не сможете проверить ответы. Поэтому звоните или посещайте людей, на которых будет ориентироваться опрос, и начинайте разговор. Затем, когда они дают ответы, которые вы не понимаете, спросите их, почему. И, кроме того, спросите их, как вы должны были задать вопрос, чтобы получить тот результат, который вы хотите. Это больше похоже на фокус-группу в том, что она интерактивная.

Сделав это, вы сможете лучше понять, как обрабатывать ответы, которые не вписываются в ваш формат. Например, вы можете взять 30% дополнительно и вычесть половину из каждого. Тогда у вас будет 55% художественной активности и 45% правительства. Или вы можете отнести к категории 40% частную художественную деятельность, 30% финансируемую правительством художественную деятельность и 30% другие (в этом случае государственная поддержка, не связанная с художественной деятельностью, например, талоны на питание или поддержка аренды). Или выбросить опрос и повторить его, потому что люди не понимают ваши категории должным образом. Частично это зависит от того, что вы понимаете под категориями, а также от того, как они их интерпретируют.

Слишком поздно, но для будущих опросов рассмотрите возможность проведения регулярной фокус-группы перед опросом. Затем вы можете проверить свои вопросы в групповой среде и улучшить их. Вы можете даже обнаружить, что получаете дополнительные вопросы от группы. Если это слишком сложно сделать лично, рассмотрите возможность сделать это онлайн. Или проведите тестовый опрос (из меньшего числа людей, проверяя ответы с помощью дополнительных вопросов) по телефону лично, прежде чем проводить настоящий опрос. Любой из них может помочь вам прояснить ваши вопросы.

Например, возможно, ваши настоящие категории должны были быть частным доходом от художественной деятельности; спонсируемая правительством художественная деятельность; частная пенсия с прежней работы; другие доходы, не связанные с художественной деятельностью. Или что-то другое. Отчасти проблема в том, что я не могу сказать, чего вы хотите, что заставляет меня думать, что ваши респонденты тоже не могли. Если существует три разных толкования, это почти как если бы вы смешивали ответы трех разных опросов.

Я не могу дать вам ответ на общий случай нелогичных ответов. Но для этого конкретного типа вопроса - был там, сделал это. Не только в опросе, но и в полуструктурированных интервью, где у меня была возможность наблюдать, как люди приходят с таким ответом. Основываясь на этом, а также на общем опыте наблюдения и анализа когнитивных процессов, я бы предложил: нормализовать ваши данные обратно до суммы 100% . Причина в том, что люди, кажется, сначала переходят в наиболее значимую категорию - в вашем случае это будет самый большой доход - дают представление об инстинктивности в процентах, а затем начинают думать о следующих меньших категориях и основывают свою оценку относительно к якору первой категории, а также к другим уже упомянутым категориям.

Например, ход мысли будет звучать так: «Мой первый источник дохода, безусловно, больше половины. Он составляет 60%? Нет, это слишком мало, скажем, 65%. Второй - около трети от этого». , так что это будет немного больше, чем 20%, ну, это сложно вычислить в моей голове, давайте округлим до 25%. Третий также чувствует себя как треть первого, но на самом деле это всегда немного больше, чем во-вторых, так должно быть 30%. Или даже 35? Нет, давайте пойдем с 30. О, и я забыл, что у меня есть четвертый источник, который происходит только раз в год, который должен быть очень маленьким по сравнению с другими, поэтому 5 или 10%? Вероятность 5 ближе, на самом деле это не так уж и много ». Таким образом, вы получите ответ 65 + 25 + 30 + 5 = 125%.

Поскольку люди, как правило, лучше осведомлены об относительном размере частей дохода по отношению друг к другу, чем о каждой части к общему, я бы сказал, что здесь нужно их нормализовать, если вы хотите провести какой-либо числовой анализ дохода , Я буду работать с фактическими данными, только если разница между убеждениями людей и их утверждениями об их доходах и объективной реальности является важной темой для вашей работы, например, если вы психолог, изучающий когнитивные искажения, или если вы больше заинтересованы в самовосприятие художников чем в их экономических условиях.

К сожалению, у меня нет хорошего литературного источника, чтобы доказать, что он действительно работает так, как я его описал, это просто мое личное эмпирическое наблюдение. Но я не думаю, что рецензенты зацикливаются на такого рода решениях, поскольку, как сказано в других ответах, не существует единого «правильного» способа его решения. Во всяком случае, они отклонят все ваши данные из этого вопроса как недействительные из-за некорректной техники запросов. Лучшее, что вы можете сделать, это превентивно признать это и выдвинуть аргументы, почему ваша работа тем не менее полезна и почему сделанные вами выводы по-прежнему хороши, несмотря на этот конкретный источник неточности в данных.

Если общественные науки научили меня чему-то, так это тому, что если вы дадите людям возможность дать логически противоречивые ответы, они это сделают. Так что будьте уверены, что нет ничего необычного в ваших предметах. Об этом следует помнить при разработке будущих опросов. В настоящее время может быть лучше оставить ответы как есть и просто помнить в своих анализах, что ответы на самом деле не составят 100%, как можно было бы подумать. Вместо истинных пропорций у вас есть шумные сигналы о том, сколько дохода каждый субъект получает от каждой категории, поэтому проанализируйте их таким образом.

художественная деятельность, государственная поддержка, частная пенсия, деятельность, не связанная с искусством

На первый взгляд кажется, что «художественная деятельность» и «деятельность, не связанная с искусством» должна составлять до 100%.

Конечно, «деятельность, не связанная с искусством» - это не то же самое, что «деятельность, не связанная с искусством», поскольку может быть доход, связанный с отсутствием активности вообще. Но это расщепление волос, что большинство художников не заметят.

Если вы предполагаете, что категории 1 и 4 должны составлять до 100%, и соответственно интерпретировать этих респондентов, вы можете обнаружить, что большинство из них включили категории 2 и 3 в категорию 4.

Однако все это манипулирование данными, которое не является идеальным. Если вы хотите получить точные статистические ответы, вы должны собрать точные данные. Люди могут лгать в ответ на ваш опрос, и от этого трудно защититься, но если люди, честно пытающиеся ответить на ваши вопросы, могут быть в замешательстве из-за того, что имеется в виду, ваш опрос должен быть переписан.

В следующий раз перед проверкой прочитайте опрос на предмет его понятности , а также двусмысленности .

Вы дали четыре категории дохода - а как насчет дохода, которого нет ни в одной из них? Например, дивидендный доход от владения акциями. Это не доход от какой-либо формы деятельности, но это не государственная поддержка или пенсия. Я хотел бы предложить, чтобы в отсутствие другой информации вы считали ответы правильными и относили недостающие деньги к источникам, которые респонденты не считали охватываемыми категориями.

На самом деле это довольно просто (и даже не так нелогично, как вы думаете)! Я предполагаю, что это действительно пропорции различных категорий доходов, которые вы получаете , запрашивая проценты. Таким образом, вы можете просто перенормировать до 100%. В вашем примере: если кто - то говорит: 70% мой доход от творческой деятельности и 60% от государственной поддержки, этот человек (который никогда Propably не имел никакого обучения в работе с процентами), фактически говоря: относительныйразмеры или пропорции моего дохода от художественной деятельности и государственного управления составляют от 70 до 60 или от 7 до 6 (вероятно, не осознавая, что проценты должны составлять до 100 ..). Вы можете преобразовать эти утверждения о пропорциях в утверждения о процентах, просто перенормировав их следующим образом: 70/130 * 100 = 53% художественного дохода и 60/130 * 100 = 47% дохода государственной поддержки.

(что я здесь делаю, так это на самом деле беру 130% как «новые» 100% и вычисляю пропорции ..)

PS. это работает для всех случаев, когда сумма указанных процентов не равна 100

Надеюсь это поможет!

Большинство ответов, которые уже даны, уже дали некоторое представление об очевидных методологических недостатках опроса, поэтому я не буду останавливаться на этом здесь. Вместо этого я предоставлю несколько практических вариантов того, как обрабатывать эти данные, учитывая, что они уже собраны и несмотря на некорректный вопрос. Есть несколько способов справиться с этим. Вы можете пометить ответы, которые не соответствуют вашему определению «правильных ответов», обработав весь вопрос как пропущенный, а затем следуя любой методике обработки неполучения ответов, такой как обсуждаемые здесь .

Вы также можете рассмотреть возможность масштабирования каждого ответа так, чтобы проценты добавлялись к 100. Если каждый ответ записан в процентах, это можно сделать путем перекодирования каждого исходного ответа. $y_{{old}_{ij}}$ $(j=1,2,3,4)$ из 4 подкомпонентов на ваш вопрос (например, художественная деятельность, государственная поддержка, частная пенсия, деятельность, не связанная с искусством) в новый ответ $y_{{new}_{ij}}$ следующее:

$$\begin{eqnarray*} y_{new_{ij}} & = & \begin{cases} 0 & ,\,\text{for}\,\sum_{j=1}^{4}y_{old_{ij}}=0\\ \frac{y_{old_{ij}}}{\sum_{j=1}^{4}y_{old_{ij}}} & ,\,\text{for}\,\sum_{j=1}^{4}y_{old_{ij}}>0\\ Missing & ,\,Otherwise \end{cases} \end{eqnarray*}$$ Так, например, скажем, у вас был респондент $i$ который ответил следующим образом:

 A. (i=1) Artistic activity:  10% 
 B. (i=2) Government support: 0% 
 C. (i=3) Private pension: 30% 
 D. (i=1) Activities not related with arts:  40%

Тогда вы будете перекодировать следующим образом:

$$\begin{eqnarray*} y_{new_{i1}} & = & \frac{10}{10+0+30+40}=\frac{10}{80}=12.5\%\\ y_{new_{i2}} & = & \frac{0}{10+0+30+40}=\frac{0}{80}=00.0\%\\ y_{new_{i3}} & = & \frac{30}{10+0+30+40}=\frac{30}{80}=37.5\%\\ y_{new_{i4}} & = & \frac{40}{10+0+30+40}=\frac{40}{80}=50.0\% \end{eqnarray*}$$

Обратите внимание, что все новые проценты теперь добавляются к 100%. Что бы вы ни делали, будьте уверены, что вы делаете какие-либо изменения очень четко, сообщая о своих результатах, и я думаю, что @ rolando2 дал несколько отличных советов о том, как выполнить некоторые анализы чувствительности, чтобы увидеть, как подобные преобразования могут повлиять на ваши выводы.