Если у меня много положительных, незначительных результатов, могу ли я проверить «хотя бы

Допустим, я провел одну и ту же регрессию для 100 разных людей по отдельности. Мои коэффициенты интереса положительны (и весьма отличаются друг от друга), но статистически незначимы во всех 100 результатах (скажем, каждое значение p = 0,11).

Есть ли способ объединить эти p-значения, чтобы сделать вывод, что «по меньшей мере 80 из этих результатов являются положительными» с большей значимостью, чем p = 0,11? Мои онлайн-поиски только показали мне, как сказать «по крайней мере 1 из этих результатов является положительным» с помощью теста Фишера или аналогичного теста, но я не смог обобщить этот результат. Я хочу проверить «H0 = все 100 эффектов одинаковы при 0» против «HA = как минимум 80 эффектов положительные».

Моя цель не состоит в том, чтобы сказать, что в среднем существует положительный коэффициент, и при этом он не предназначен для конкретного измерения коэффициента. Моя цель состоит в том, чтобы показать, что по меньшей мере 80 человек по отдельности сталкивались с каким-то положительным эффектом независимо от того, какие 80 человек, и независимо от величины эффекта, ощущаемого каждым человеком.

Вы должны выполнить все 100 анализов в виде единой модели смешанных эффектов с самими случайными величинами ваших коэффициентов интереса. Таким образом, вы можете оценить распределение для этих коэффициентов, включая их среднее значение, что даст вам вид интерпретации, который, я думаю, вы ищете.

Отмечая, что, если, как я подозреваю, это так, у вас есть временные ряды для каждого человека, вам также необходимо будет исправить автокорреляцию остатков.

Самое простое, что можно сделать, это, вероятно, тест на знак. Нулевая гипотеза состоит в том, что каждый результат имеет равную вероятность быть положительным или отрицательным (например, подбрасывание справедливой монеты). Ваша цель состоит в том, чтобы определить, будут ли наблюдаемые результаты достаточно маловероятными в соответствии с этой нулевой гипотезой, чтобы вы могли отклонить ее.

Какова вероятность получения 80 или более голов из 100 бросков честной монеты? Вы можете рассчитать это, используя биномиальное распределение. В R, вызывается соответствующая функция pbinom, и вы можете получить (одностороннее) p-значение, используя следующую строку кода:

pbinom(80, size = 100, prob = 0.5, lower.tail = FALSE)

Согласно этому тесту, ваша интуиция верна, вы вряд ли получите 80 положительных результатов случайно, если лечение не даст эффекта.

Тесно связанным вариантом было бы использовать что-то вроде теста рангов Уилкоксона .

Лучше подход, если вы на самом деле хотите , чтобы оценить величину эффекта (а не просто определить , как правило , является ли это быть больше нуля или нет), вероятно , будет иерархическая ( «смешанный») модель.

Здесь модель говорит, что результаты ваших 100 человек получены из распределения, и ваша цель - увидеть, где находится среднее значение этого распределения (вместе с доверительными интервалами).

Смешанные модели позволяют вам сказать немного больше о ваших величинах эффекта: после подбора модели вы можете сказать что-то вроде: «мы оцениваем, что наше лечение имеет тенденцию улучшать результаты в среднем на три единицы, хотя данные согласуются с истинным средним величина эффекта составляет от 1,5 до 4,5 единиц. Кроме того, между индивидуумами есть некоторые различия, поэтому данный человек может видеть эффект в диапазоне от -0,5 до +6,5 единиц ".

Это очень точный и полезный набор утверждений - гораздо лучше, чем просто «эффект, вероятно, в среднем положительный», поэтому статистики предпочитают этот подход. Но если вам не нужны все эти детали, первый подход, который я упомянул, тоже подойдет.

Может быть, я полностью ошибаюсь, но мне кажется, что вы пытаетесь сделать повторные измерения ANOVA. Просто определите этот «манекен» как фактор внутри субъекта, и модель сделает все остальное. Само значение не очень информативно; это необходимо, но не достаточно; любая модель получала бы значимость при достаточно большом количестве наблюдений. Вы можете захотеть получить размер эффекта, например (частично) Eta-Squared, чтобы понять, насколько «велик» ваш эффект. Мои 2 цента.

Это может быть так же просто, как обычный расчет ANCOVA, но подходящий способ анализа ваших данных будет зависеть от физической ситуации, и вы не предоставили эти данные.