Выявление бесполезных вопросов из анкеты

12

Я разрабатываю анкету. Для повышения его надежности и достоверности я хочу использовать статистические методы.

Я хочу исключить вопросы, ответы на которые всегда одинаковы. Это означает, что почти все участники дали одинаковые ответы на эти вопросы.

Теперь мои вопросы:

Какой технический термин для таких бесполезных вопросов, ответы на которые всегда одинаковы, независимо от контекста использования?
Какие есть методы для выявления таких вопросов?

— Максимум
источник

4

Я не знаю специального названия для вопросов, где все дают один и тот же ответ (возможно, кто-то другой). Я бы назвал их «неинформативными». Они, вероятно, не причиняют большого вреда, кроме как тратить время респондентов. Вам определенно следует избавиться от них, но я мог бы сосредоточиться на поиске и удалении вопросов, которые не коррелируют с / («нагрузкой на») скрытых переменных, которые вы хотите оценить.

— gung - Восстановить Монику

7

Одно из практических правил заключается в том, что если 80% респондентов дают одинаковый ответ, вопрос не является информативным. НО - иногда ты хочешь знать это. «Вы убийца» - это не информативный вопрос по этому правилу, но вы действительно захотите узнать его до того, как у вас появится новый сосед по комнате. Так что нет жесткого и быстрого правила.

— Джереми Майлз

4

Такие вопросы (с очень низкой изменчивостью) являются плохими показателями качества, к которому они относятся. Но они иногда включаются и помогают выслеживать лжецов или уклоняющихся респондентов.

— ttnphns

9

Как классическая теория тестов (CTT), так и теория отклика предмета (IRT) могут предоставить рекомендации относительно того, какие предметы способствуют скрытой характеристике, которую вы хотите измерить, а какие нет. С помощью CTT рассмотрите 1) сложность предмета, 2) корреляцию предмета с общим счетом, 3) дисперсию предмета и 4) влияние на оценки внутренней согласованности (например, альфа Кронбаха), если предмет удален.

Предметы, которые являются слишком легкими или слишком сложными, как правило, не помогают разделить предмет (различать между высокими и низкими показателями). Если вы не заинтересованы в измерении различий между лучшими исполнителями, следует рассмотреть очень сложные вопросы. В том же духе очень легкие вещи подходят только в том случае, если вы заинтересованы в производительности с низкими показателями.

Все пункты должны положительно коррелировать с общим баллом, и вы можете установить нижнюю границу для этой корреляции около 0,20 в качестве ориентира. Низкие или отрицательные корреляции могут указывать на то, что в вашем вопроснике есть проблемы с формулировкой, и что вопрос должен быть перевернут, если он забит.

Предметы с низкой дисперсией (вариабельность баллов) следует рассматривать для удаления, поскольку они не разделяют предметы и не вносят вклад в информацию, собранную в ходе опроса. Предметы с очень высокой дисперсией могут измерять нечто иное, чем та конструкция / черта, которую вы хотите измерить.

Если оценка внутренней согласованности улучшается при удалении элемента, то этот элемент следует рассмотреть для удаления или изменить его формулировку.

Предметы, которые каждый получает правильно, иногда являются максимальными предметами, а те, которые каждый получает неправильно, иногда называют минимальными предметами. Они не вносят вклад в информацию, которую вы пытаетесь собрать.

Если вы разрабатываете анкету с высокими ставками или планируете продвигать анкету, вам обязательно следует рассмотреть вопрос IRT. Тем не менее, это обширная предметная область, и, если вы действительно не заинтересованы, вероятно, здесь не место для этого.

Надеюсь это поможет.

— doug.numbers
источник

4

Я верю в то, что вы ищете, это Теория Ответов Предметов. «Бесполезные» вопросы, на которые вы ссылаетесь, это пункты с плохой дискриминацией. Используя анализ IRT, вы можете рассчитать различение, сложность и связанную с этим вероятность угадывания предметов участниками опроса. Программа R имеет простой пакет для использования IRT, и я думаю, что и другие статистические программные пакеты тоже.

Если вы хотите краткий обзор, вот страница википедии, но я бы посоветовал изучить ее подробнее. http://en.wikipedia.org/wiki/Item_response_theory

— StatiStudent
источник