В чем разница между «проверкой гипотезы» и «проверкой значимости»?

Есть ли разница между фразами «проверка гипотезы» и «проверка значимости» или они одинаковы?

После подробного ответа от @Micheal Lew у меня возникла путаница, что в настоящее время гипотеза (например, t-критерий для проверки среднего) является примером «проверки значимости» или «проверки гипотез»? Или это комбинация обоих? Как бы вы их дифференцировали на простом примере?

hypothesis-testing statistical-significance

— любовь-статистика
источник

T-критерий Стьюдента можно использовать для определения значения ap, которое затем можно использовать в тесте значимости по Фишеру (значение p является уровнем значимости) или в тесте гипотезы Неймана-Пирсона (если значение p меньше предварительно установленного значения альфа-канала) тогда результат «значительный»). Разница заключается в том, что делается с результатом t-теста, а не из какой школы мысли взят t-тест (хотя подход Госсетта имел гораздо больше общего с Фишером, чем с NP).

— Майкл Лью - восстановите Монику

Ответы:

Проверка значимости - это то, что разработал Фишер, а проверка гипотез - это то, что Нейман и Пирсон разработали для замены проверки значимости. Они не одинаковы и взаимно несовместимы до такой степени, что удивили бы большинство пользователей тестов нулевых гипотез.

Тесты значимости Фишера дают значение ap, которое показывает, насколько экстремальными являются наблюдения при нулевой гипотезе. Это значение p является показателем против нулевой гипотезы и уровня значимости.

Тесты гипотез Неймана и Пирсона устанавливают как нулевую гипотезу, так и альтернативную гипотезу и работают как правило принятия решения для принятия нулевой гипотезы. Вкратце (здесь есть нечто большее, чем я могу описать здесь), вы выбираете приемлемый уровень ложноположительного вывода, альфа (обычно 0,05), и либо принимаете, либо отклоняете ноль в зависимости от того, является ли значение р выше или ниже альфа. Вы должны соблюдать решение статистического теста, если хотите защитить себя от ложноположительных ошибок.

Подход Фишера позволяет вам принимать во внимание все, что вам нравится, при интерпретации результата, например, ранее полученные данные могут быть неофициально приняты во внимание при интерпретации и представлении результата. В подходе NP это может быть сделано только на стадии экспериментального проектирования, и, кажется, это делается редко. По моему мнению, подход Fisherian более полезен в базовой бионаучной работе, чем подход NP.

Существует много литературы о несоответствиях между проверкой значимости и проверкой гипотез и о неудачной гибридизации обоих. Вы можете начать с этой статьи: Goodman, К научно-обоснованной медицинской статистике. 1: ошибка значения P http://www.ncbi.nlm.nih.gov/sites/entrez?Db=pubmed&Cmd=ShowDetailView&TermToSearch=10383371

— Майкл Лью - восстановить Монику
источник

@Micheal Lew - +1 я не знал, что Ньюман / Пирсон придумал проверку гипотезы фразы, и я интерпретировал ее более неформально. Кроме того, не могли бы вы рассказать о том, как мой ответ неверен, поскольку я хотел бы исправить любые ошибки и всегда готов услышать отзывы.

— richiemorrisroe

@richiemorrisroe - Нейман и Пирсон сделали не просто фразу! Они разработали целую парадигму статистического анализа - парадигму, которая сегодня преобладает во многих областях (несмотря на мое мнение и мнение Фишера), что она не подходит для большинства научных экспериментов. Фишер неоднократно заявлял, что NP-подход имеет отношение только к промышленным приемочным испытаниям. Большинство вводных статистических текстов не содержат достаточно подробностей и истории, чтобы позволить учащимся понять, что существуют важные различия между школами мысли о статистическом тестировании. Это неудачно.

— Майкл Лью - восстановите Монику

Во многих случаях эти два утверждения означают одно и то же. Тем не менее, они также могут быть совершенно разными.

Проверка гипотезы состоит в том, чтобы сначала сказать, что, по вашему мнению, произойдет с каким-либо явлением, затем разработать какой-то тест для этого явления, а затем определить, действительно ли это явление произошло. Во многих случаях проверка гипотезы не должна включать какой-либо статистический тест. Мне напомнил об этой цитате физик Эрнест Резерфорд. - Если ваш эксперимент требует статистики, вам следовало бы провести лучший эксперимент. При этом при проверке гипотез обычно используется какой-то статистический инструмент.

Напротив, проверка значимости является чисто статистическим понятием. По сути, у одной есть две гипотезы - нулевая гипотеза, которая утверждает, что нет разницы между вашими двумя (или более) коллекциями данных. Альтернативная гипотеза состоит в том, что между вашими двумя образцами есть разница, которая не произошла случайно.

Основываясь на структуре вашего исследования, вы затем сравниваете две (или более) выборки, используя статистический тест, который дает вам число, которое затем сравнивается с эталонным распределением (таким как нормальное, t или F распределение) и, если эта тестовая статистика превышает критическое значение, вы отвергаете нулевую гипотезу и делаете вывод, что существует разница между двумя (или более) выборками. Этот критерий обычно заключается в том, что вероятность возникновения разницы случайно составляет менее одного из двадцати (р <0,05), хотя иногда используются и другие.

— richiemorrisroe
источник

Не могли бы вы привести пример, когда проверка гипотез не включает какие-либо статистические тесты?

— love-stats

Это неточное представление проверки значимости и проверки гипотез.

— Майкл Лью - восстановите Монику

@ user152509 предположим, я провожу исследование, в котором я беру интервью у пользователей и не пользователей определенного продукта. Я предполагаю, что не пользователи сосредоточатся на недостатках указанного продукта, а пользователи расскажут о том, как продукт помогает им. Это то, что я наблюдаю, отсюда и гипотеза, проверенная без статистики.

— richiemorrisroe

Важно различать научную гипотезу и статистическую гипотезу. Нулевая гипотеза, проверенная статистическими тестами нулевой гипотезы, обычно является только последней. Проверка правильно разработанной статистической гипотезы может позволить сделать вывод относительно научной гипотезы, но это не всегда так.

— Майкл Лью - восстановите Монику

@Micheal Lew, у меня есть одно замешательство, что в настоящее время гипотеза (например, t-критерий для проверки среднего) является примером «проверки значимости» или «проверки гипотезы»? Или это комбинация обоих? Как бы вы их дифференцировали на простом примере?

— love-stats