Какие критерии должны быть соблюдены, чтобы сделать вывод о «потолочном эффекте»?

По данным SAGE Encyclopedia of Social Science Методы исследования …

[a] потолочный эффект возникает, когда мера имеет четкий верхний предел для потенциальных ответов и большая концентрация участников получает балл в пределах или около этого предела. Масштабное затухание является методологической проблемой, которая возникает всякий раз, когда дисперсия ограничивается таким образом. … Например, потолочный эффект может возникнуть при оценке отношения, при котором высокий балл указывает на благоприятное отношение, а самый высокий отклик не в состоянии уловить максимально возможную положительную оценку. … Лучшим решением проблемы потолочных эффектов является пилотное тестирование, которое позволяет выявить проблему на ранней стадии . Если эффект потолка найден , [и] мера результата выполнение задачи, задача может быть более сложной , чтобы увеличить диапазон потенциальных ответов. ¹ [выделение добавлено]

Там , кажется, много из советов и вопросов ( и здесь ) , посвященный анализ данных , которые показывают потолочные эффекты , подобные тем , что описано в цитате выше.

Мой вопрос может быть простым или наивным, но как на самом деле обнаружить, что потолочный эффект присутствует в данных? В частности, скажем, что психометрический тест создан и предположительно может привести к потолочному эффекту (только визуальный осмотр), а затем тест пересматривается для получения большего диапазона значений. Как можно показать, что пересмотренный тест удалил эффект потолка из данных, которые он генерирует? Существует ли тест, который показывает, что в наборе данных a существует эффект потолка, но в наборе данных b нет эффекта потолка ?

Мой наивный подход заключается в том, чтобы просто изучить перекос распределения и, если он не искажен, сделать вывод, что потолочного эффекта нет. Это слишком упрощенно?

редактировать

Чтобы добавить более конкретный пример, скажем, я разрабатываю инструмент, который измеряет некоторую скрытую черту х, которая увеличивается с возрастом, но в конечном итоге выравнивается и начинает снижаться в старости. Я делаю первую версию с диапазоном от 1 до 14, выполняю некоторые экспериментальные работы и нахожу, что, возможно, эффект потолка может быть (большое количество ответов на уровне или около 14, максимум). глядя на данные. Но почему? Существует ли какой-либо строгий способ поддержать это утверждение?

Затем я пересматриваю меру, чтобы иметь диапазон от 1 до 20, и собираю больше данных. Я вижу, что эта тенденция более точно соответствует моим ожиданиям, но откуда мне знать, что диапазон измерений достаточно велик. Я должен пересмотреть это снова? Визуально это вроде бы нормально, но есть ли способ проверить это, чтобы подтвердить мои подозрения?

введите описание изображения здесь

Я хочу знать, как я могу обнаружить этот потолочный эффект в данных, а не просто смотреть на них. Графики представляют фактические данные, а не теоретические. Расширение диапазона инструмента создало лучший разброс данных, но достаточно ли этого? Как я могу это проверить?

¹ Hessling, R., Traxel, N. & Schmidt, T. (2004). Потолочный эффект. В книге Майкла С. Льюиса-Бека, А. Браймана и Тима Фьютинга Ляо (ред.), Энциклопедия социальных методов исследования SAGE . (стр. 107). Таузенд-Оукс, Калифорния: Sage Publications, Inc. doi: 10.4135 / 9781412950589.n102

— потолок
источник

Чтобы добиться прогресса, нужно придумать оперативное определение «потолочного эффекта». В общем, это может быть проблематично: в конце концов, почти любое измеренное количество не может реально превысить какое-либо значение, такое как 100% в тесте или химической концентрации, верхний предел того, что прибор может прочитать, и так далее, так что, возможно, почти все данные подчиняются некоторой внутренней верхней границе. Итак, хотя предполагаемый смысл «потолочного эффекта» интуитивно понятен из ваших хороших примеров, вы можете помочь нам, уточнив, что именно нужно «удалить» из ваших данных и почему.

— whuber

@whuber Вы правы, что этот термин используется несколькими различными способами, но в данном случае я говорю о том, чтобы сделать линейку достаточно длинной, чтобы превзойти все, что я хочу измерить. При создании тестов вы наверняка захотите включить достаточное количество предметов из ряда трудностей, чтобы никто не получил 100%, иначе вы не будете знать, действительно ли способности этого человека являются пределом теста или выше. Ничего не нужно удалять из данных, но инструмент необходимо пересматривать, пока он не даст цензурированных точек данных.

— потолок

Спасибо. Я до сих пор не уверен, что вы подразумеваете под «потолочным эффектом», потому что ни одна из ваших иллюстраций не демонстрирует явных доказательств какого-либо вида цензуры - по крайней мере, не с фиксированными пределами цензуры, подобными тесту. На самом деле, изменение от левой к правой панели больше похоже на нелинейное повторное выражение вертикальной оси «один к одному», которое никак не повлияет на потолок в данных. Это заставляет меня задуматься, действительно ли вы обеспокоены чем-то совершенно другим, таким как асимметрия остатков регрессии.

— whuber

@whuber джиттер был добавлен, так как большинство точек перекрываются. Если графики не относятся к моему вопросу, то, очевидно, я понятия не имею, о чем говорю. Мне кажется, что есть эффект потолка, как описано Hessling, Traxel & Schmidt, но, основываясь на ваших комментариях и полном отсутствии интереса к этому вопросу, возможно, я вижу проблему там, где ее нет. Спасибо ваши ваши предложения и идеи, хотя. Я признателен за это.

— потолок

@ Джохан, я вижу. В духе вашего вопроса мне приходит в голову, что небольшая модификация вашей идеи может быть хорошей. Если у нас нет оснований полагать, что остатки должны быть нормально распределены, мы можем попытаться найти монотонное преобразование ответа, в котором распределения остатков гомоскедастичны, когда ответ низкий, и, возможно, станут усеченными, когда ответ высокий. Другими словами, возможно, тест не должен быть нормальным, но должен искать согласованную форму и масштаб ответа.

— whuber

Ответы:

Прежде всего, я хотел бы сказать, что оба графика дают мне четкое доказательство того, что присутствует потолочный эффект. То, как я попытался бы измерить этот эффект, а не только визуально, было бы наблюдать, пока нетривиальная часть наблюдений находится вблизи верхней границы диапазона прибора. Как правило, потолочный эффект всегда будет существовать, пока есть нетривиальная часть тестируемых, которые достигают максимальной оценки по тесту.

Тем не менее, технология тестового анализа продвинулась далеко вперед, так как нам нужно было напрямую интерпретировать оценки на инструменте, основываясь на правильной оценке. Теперь мы можем использовать Теорию ответа на предмет, чтобы оценить параметры предмета для отдельных предметов и использовать эти предметы для определения предметной способности. Конечно, на тесте могут быть еще и потолочные эффекты, если мы сделаем тест слишком простым. Тем не менее, благодаря способности теории реагирования на предметы, мы должны иметь возможность поместить в инструмент, по крайней мере, несколько предметов достаточно высокой сложности, чтобы предотвратить попадание в потолок только незначительной части населения.

Спасибо за вопрос. Это очень интересно!

— Фрэнсис Смарт
источник

Я предполагаю, что грубым и готовым способом было бы просто измерить дисперсию по мере увеличения масштаба. Если это показывает снижение, то это свидетельствует о потолочном эффекте, а если нет, то потолочного эффекта нет. Вы можете сделать однородный график отклонений. Тест Левена может быть полезен для определения того, отличается ли разница в разных точках шкалы.

— user45114
источник

спасибо за идею Я попробую, но я ожидаю, что дисперсия естественным образом уменьшится с возрастом в этом случае.

— потолок

Потолок, и этот ответ, и ваш комментарий, кажется, смешивают два разных понятия. Шкалы дисперсия будет отражать дисперсию повторных независимых измерений субъекта; предполагается, что он не зависит от субъекта, но, возможно, зависит от среднего ответа субъекта. Дисперсия, к которой вы и этот ответ имеете отношение, является дисперсией остатков регрессии. Хотя они связаны, они не одно и то же.

— whuber

@whuber спасибо за указание на это. Кстати, вы все еще не видите никаких признаков эффекта потолка с графиком обновления и информацией? Я весьма удивлен, что этот вопрос почти не интересовал, учитывая многочисленные вопросы и ответы по анализу данных с присутствующими предельными эффектами.

— потолок

Здравствуй. Пока вы строите график различий между объектами по мере увеличения масштаба, а не внутри объектов, это не скажет вам что-нибудь о потолочных эффектах? - можете ли вы по-прежнему использовать тест Левена для проверки значительного изменения дисперсии при увеличении масштаба? или это предназначено только для проверки изменений в субъекте? Должны ли мы использовать другой термин для описания вариаций оценок разных людей по мере увеличения шкалы, кроме «дисперсии шкалы», такой как «Дисперсия остатков»? Можно ли использовать критерий Левена, чтобы показать, что «дисперсия остатков» однородна по всей шкале

— user45114

Критическая проблема при решении вопроса о том, является ли кластеризация вокруг самой высокой или самой низкой точки следствием эффекта потолка / минимума, заключается в том, действительно ли значения наблюдений «представляют» значение. Когда эффекты потолка / пола действительно имеют место, некоторые из случаев, несмотря на допущение максимального или минимального значения, на самом деле выше / ниже максимального или минимального значения (представьте, что взрослый и ребенок оба проходят чрезвычайно простой математический тест, предназначенный для измерения свои математические способности, и оба набрали 100%). Здесь данные подвергаются цензуре.

Другой сценарий также возможен, когда мы используем ограниченные шкалы, такие как шкала, подобная Лайкерту, которая имеет верхний и нижний пределы. Вполне возможно, что те, кто набрал наивысший балл, действительно заслуживают этого балла, и между всеми, кто набрал наивысший балл, не существует никаких различий (например, математический пример выше). В таком случае данные усекаются до пределов, а не подвергаются цензуре.

Исходя из вышеизложенного, я считаю, что следует разработать процедуру, которая бы соответствовала любому данному набору данных с усечением данных и цензурой данных. Если модель цензуры лучше всего соответствует данным, я думаю, что можно сделать вывод, что эффект потолка / пола присутствует.

— wuy3814
источник