Почему тестирование частых гипотез смещается в сторону отклонения нулевой гипотезы с достаточно большими выборками?

Я просто читал эту статью о байесовском факторе для совершенно не связанной проблемы, когда наткнулся на этот отрывок

Тестирование гипотез с байесовскими факторами является более надежным, чем тестирование с использованием частых гипотез, поскольку байесовская форма позволяет избежать смещения при выборе модели, оценивает доказательства в пользу нулевой гипотезы, включает неопределенность модели и позволяет сравнивать не вложенные модели (хотя, конечно, модель должна имеют одинаковую зависимую переменную). Кроме того, тесты на частоту значимости становятся предвзятыми в пользу отклонения нулевой гипотезы с достаточно большим размером выборки. [выделение добавлено]

Я видел это утверждение раньше в газете Карла Фристона 2012 года в NeuroImage , где он называет это ошибкой классического вывода .

У меня были небольшие проблемы с поиском действительно педагогического объяснения того, почему это должно быть правдой. Конкретно мне интересно:

1. почему это происходит
2. как защититься от этого
3. если это не удалось, как это обнаружить

$p$$p$

Ответ на вопрос 2: В рамках системы проверки гипотезы часто можно защититься от этого, не делая вывод только об обнаружении различий . Например, можно объединить выводы о разнице и эквивалентности, чтобы не отдавать предпочтение (или не смешивать!) Бремени доказывания доказательств воздействия с доказательством отсутствия эффекта . Доказательством отсутствия эффекта являются, например:

1. два односторонних теста на эквивалентность (TOST),
2. равномерно наиболее мощные тесты на эквивалентность , и
3. $1-2\alpha$$\alpha$

То, что разделяют все эти подходы, - это априорное решение о том, какой размер эффекта составляет существенную разницу, и нулевая гипотеза, сформулированная с точки зрения разницы, по крайней мере, такой же, как и то, что считается релевантным.

$_{0}^{+}$$_{0}^{-}$

Обратите внимание на верхний левый квадрант: односторонний тест - это тест, в котором да вы отвергаете нулевую гипотезу о разнице, но вы также отвергаете нулевую гипотезу о значимой разнице, так что да, есть разница, но вы априори решили, что вас не волнует это потому что он слишком маленький.

Ответ на вопрос 3: см. Ответ на 2.

Частые тесты с большими выборками НЕ демонстрируют уклон в сторону отклонения нулевой гипотезы, если нулевая гипотеза верна. Если предположения теста верны, а нулевая гипотеза верна, то больше нет риска, что большая выборка приведет к отклонению нулевой гипотезы, чем маленькая выборка. Если значение NULL не соответствует действительности, то мы, безусловно, будем рады отклонить его, поэтому тот факт, что большая выборка будет чаще отклонять ложное значение NULL, чем маленькая выборка, - это не «смещение», а соответствующее поведение.

Страх перед «чрезмерными экспериментами» основан на предположении, что не стоит отвергать нулевую гипотезу, когда она почти верна. Но если это только почти правда, то это на самом деле ложь! Отклоните, но не забывайте замечать (и четко сообщать) наблюдаемый эффект. Он может быть незначительным и поэтому не заслуживает серьезного рассмотрения, но решение по этому вопросу должно приниматься после рассмотрения информации, полученной вне проверки гипотезы.