Документ о выполнении проверки гипотез на основе результатов другого теста

Хорошо известно, что выбор статистического теста на основе результатов другого статистического теста проблематичен, поскольку значения p трудно или невозможно интерпретировать (например, выбор статистического теста на основе результатов другого (например, нормальности) ) , Тем не менее, это все еще стандартная практика во многих приложениях и, как правило, не замечается и не обсуждается в прикладных работах. Просматривая литературу, мне не удалось найти статью, в которой действительно обсуждается это явление.

Я был бы признателен за ссылки на любые публикации, касающиеся выбора статистического теста на основе результатов другого статистического теста, особенно те, которые доступны для прикладных ученых.

hypothesis-testing references p-value

— Роб Холл
источник

Несвязанный комментарий: В своем поиске я наткнулся на статью Р.С. Никерсона « Проверка значимости нулевой гипотезы: обзор старого и продолжающегося противоречия », в которой не обсуждается этот конкретный феномен, но также, кажется, приятно дать прикладным ученым.

— Роб Холл

Давным-давно я опубликовал подробный анализ одной из таких ситуаций на quantdec.com/envstats/notes/class_12/ucl.htm : он изучает свойства UCL, который определяется процедурой, выбранной в зависимости от результатов предварительного теста на гипотезу ( относительно основного распределения).

— whuber

Это может вас заинтересовать (также посмотрите это ). Тогда есть это . Это относится к проверке равенства дисперсии и проверки нормальности соответственно перед t-тестом из двух выборок.

— Glen_b

Мне кажется, что просто сказать, что «общеизвестно, что это проблематично», значит обеспечить недостаточную конкретность, потому что проблемный характер, вероятно, зависит от статистической структуры, в которой он работает. Проблемы для частой интерпретации могут не быть проблемами для методов, которые оценивают доказательный смысл данных.

— Майкл Лью

Может быть, простой пример, где это проблематично, послужит той же цели, что и цитата.

— BKay

Я думаю, что следующий исследовательский документ о цепных процедурах имеет отношение и может быть полезен для ответа на ваш вопрос: http://www.multxpert.com/doc/md2011.pdf .

— Александр Блех
источник

Спасибо за интересную статью. Если я правильно понимаю, он смотрит на управляемое данными распределение альфа в упорядоченном наборе гипотез. Такая процедура могла бы затем просто добавить все варианты гипотезы в список (например, гипотеза с учетом того, что можно использовать пареметрический тест, и гипотеза с учетом того, что существуют некоторые доказательства того, что следует использовать непаретометрический тест). Хотя это должен быть разумный подход в рамках Неймана – Пирсона, я не уверен, что это решает проблему интерпретации p-значений в смысле Фишера.

— Роб Холл

@RobHall: Добро пожаловать! Честно говоря, я просматривал газету, не вдаваясь в подробности, поэтому в настоящее время я не могу сделать достойный комментарий. Но я надеюсь пересмотреть эту статью, когда у меня будет шанс. Кстати, вот еще одна интересная статья, которая может иметь отношение к этому, где автор утверждает, что две структуры могут считаться взаимодополняющими: stat.duke.edu/courses/Spring07/sta215/Ref/Lehm1993.pdf .

— Александр Блех