Если мы не сможем отвергнуть нулевую гипотезу в большом исследовании, разве это не доказательство нулевой?

59

Основным ограничением проверки значимости нулевой гипотезы является то, что она не позволяет исследователю собирать доказательства в пользу нулевой ( Источник )

Я вижу, что это утверждение повторяется в нескольких местах, но я не могу найти оправдания для этого. Если мы проводим большое исследование , и мы не находим статистически значимые доказательства против нулевой гипотезы , не то, что доказательства для нулевой гипотезы?

hypothesis-testing

— Атте Ювонен
источник

3

Но мы начинаем наш анализ, предполагая, что нулевая гипотеза верна ... Предположение может быть неверным. Может быть, у нас недостаточно сил, но это не значит, что предположение верно.

— SmallChess

13

Если вы не читали его, я настоятельно рекомендую книгу Джейкоба Коэна « Земля круглая» (p <.05) . Он подчеркивает, что при достаточно большом размере выборки вы можете отвергнуть практически любую нулевую гипотезу. Он также говорит в пользу использования размеров эффекта и доверительных интервалов, и он предлагает аккуратное представление байесовских методов. Плюс, читать это просто приятно!

— Доминик

7

Нулевые гипотезы могут быть только просто неправильно. ... отказ отклонить нуль не является доказательством против достаточно близкой альтернативы.

— Glen_b

3

См. Stats.stackexchange.com/questions/85903 . Но смотрите также stats.stackexchange.com/questions/125541 . Если, выполняя «большое исследование», вы имеете в виду «достаточно большое, чтобы обладать высокой мощностью, чтобы обнаружить минимальный интересующий эффект», то отказ от отклонения может быть интерпретирован как принятие нуля.

— говорит амеба, восстанови Монику

7

Рассмотрим парадокс подтверждения Гемпеля. Изучение вороны и обнаружение, что она черная, является поддержкой «все вороны черные». Но логически исследуя не черный объект и видя, что это не ворона, также следует поддержать предложение, поскольку утверждения «все вороны черные» и «все не черные объекты не являются воронами» логически эквивалентны ... разрешение состоит в том, что число не черных объектов намного, намного больше, чем число ворон, поэтому поддержка, которую черная ворона оказывает предложению, соответственно больше, чем крошечная поддержка, которую дает не черная не ворона.

— Бен

62

Неспособность отвергнуть нулевую гипотезу является доказательством того, что нулевая гипотеза верна, но это не может быть особенно хорошим доказательством и, конечно, не доказывает нулевую гипотезу.

Давайте сделаем небольшой обход. Рассмотрим на секунду старое клише:

Отсутствие доказательств не является доказательством отсутствия.

Несмотря на свою популярность, это утверждение - ерунда. Если вы ищете что-то и не можете найти это, это является абсолютным доказательством того, что его там нет. Насколько хороши эти доказательства, зависит от того, насколько тщательным был ваш поиск. Беглый поиск предоставляет слабые доказательства; исчерпывающий поиск дает веские доказательства.

Теперь вернемся к проверке гипотез. Когда вы запускаете проверку гипотезы, вы ищете доказательства того, что нулевая гипотеза не соответствует действительности. Если вы не можете найти его, то это, безусловно , свидетельствует о том , что нулевая гипотеза является правдой, но насколько сильна , что доказательства? Чтобы знать это, вы должны знать, насколько вероятно, что свидетельство, которое заставило бы вас отвергнуть нулевую гипотезу, могло ускользнуть от вашего поиска. То есть какова вероятность ложного негатива по вашему тесту? Это связано с мощностью, , теста (в частности, это дополнение, 1- .) $\beta$ $\beta$

Теперь сила теста и, следовательно, уровень ложного отрицания, обычно зависят от величины эффекта, который вы ищете. Большие эффекты легче обнаружить, чем маленькие. Таким образом, для эксперимента не существует единой , и, следовательно, нет однозначного ответа на вопрос, насколько сильны доказательства нулевой гипотезы. Другими словами, всегда есть некоторый размер эффекта, достаточно маленький, чтобы это не исключалось экспериментом. $\beta$

Отсюда есть два способа продолжить. Иногда вы знаете, что вас не волнует размер эффекта, меньший порога. В этом случае вам, вероятно, следует переосмыслить свой эксперимент так, чтобы нулевая гипотеза заключалась в том, что эффект выше этого порога, а затем проверить альтернативную гипотезу о том, что эффект ниже порога. Кроме того, вы можете использовать свои результаты, чтобы установить границы вероятного размера эффекта. Ваш вывод будет таким: размер эффекта лежит в некотором интервале с некоторой вероятностью. Этот подход является лишь небольшим шагом от байесовского лечения, о котором вы, возможно, захотите узнать больше, если часто сталкиваетесь с подобной ситуацией.

Есть хороший ответ на связанный с этим вопрос, который касается доказательств отсутствия , что может оказаться полезным.

— Никто
источник

9

Давайте рассмотрим проверку гипотезы с , с и незначимым p-значением. По вашим рассуждениям, это некоторые доказательства . Другой тест гипотезы с , с и незначимым p-значением, затем предоставит некоторые доказательства для . Это свидетельства явно противоречат друг другу.

H_{1} : μ > 2

$H_1:\mu>2$

\bar{x} = 3

$\bar{x}=3$

μ \leq 2

$\mu \le 2$

H_{1} : μ < 4

$H_1:\mu<4$

\bar{x} = 3

$\bar{x}=3$

μ \geq 4

$\mu \ge 4$

— Macond

4

Я не уверен, что следую вашему аргументу. Из того, что я могу сказать, вы описываете два эксперимента, каждый из которых предоставляет (вероятно, довольно слабые) доказательства одной из двух взаимно противоречивых гипотез. Почему это удивительно?

— Никто

8

Другой пример: общий

. Если вы не можете отклонить это, значит ли это, что у вас есть доказательства того, что среди всех других значений в реальной линии истинное среднее значение равно 0 ..? Этот ответ вводит в заблуждение!

H_{0} : μ = 0

$H_0: \mu = 0$

— Тим

3

Мне нравится ваш отчет о доказательствах - кажется, он быстро приводит к байесовскому фактору как количественной оценке поддержки данных одной модели против другой. Имеет ли

доказательства дают или против

? Ну, это зависит от вашей предыдущей плотности для

: если вы думаете, что

где-то чуть ниже 2 или где-то намного выше 3, данные подтверждают это; если вы думаете, что вероятность равного

будет где-то между -10 и 10, данные свидетельствуют об этом. Но в частом анализе ваша степень веры не представлена числом, так что же применимо к концепции доказательства ?

\bar{x} = 3

$\bar{x}=3$

μ \leq 2

$\mu\leq2$

μ

$\mu$

μ

$\mu$

μ

$\mu$

— Scortchi - Восстановить Монику

6

Это напоминает мне о гипотезе Римана. Мы смотрели и искали нетривиальные нули вне линии с реальной частью 1/2, но не смогли найти ни одного. И хотя мы не считаем гипотезу Римана верной, потому что мы ее не доказали, большинство математиков считают, что это правда, и существует множество результатов, которые истинны, если гипотеза Римана верна :) Так что в этом случае мы интерпретировали отсутствие доказательств в качестве доказательства отсутствия

— Муравей

29

NHST опирается на p-значения, которые говорят нам: если нулевая гипотеза верна, какова вероятность того, что мы наблюдаем наши данные (или более экстремальные данные)?

Мы предполагаем, что нулевая гипотеза верна - в NHST выдумано, что нулевая гипотеза на 100% верна. Небольшие p-значения говорят нам, что, если нулевая гипотеза верна, наши данные (или более экстремальные данные) маловероятны.

Но что говорит нам большое значение p? Это говорит нам о том, что, учитывая нулевую гипотезу, наши данные (или более экстремальные данные) вероятны.

Вообще говоря, P (A | B) ≠ P (B | A).

Представьте, что вы хотите принять большое значение p в качестве доказательства нулевой гипотезы. Вы бы положились на эту логику:

~~Если значение равно нулю, тогда вероятно высокое значение p.~~ ( Обновление: не соответствует действительности. См. Комментарии ниже. )
Высокое значение р найдено.
Следовательно, ноль - это правда.

Это принимает более общую форму:

Если B истинно, то A вероятно.
А происходит.
Следовательно, B верно.

Это ошибочно, как видно из примера:

Если на улице шел дождь, то, скорее всего, влажная земля.
Земля влажная.
Поэтому на улице шел дождь.

Земля вполне могла быть влажной, потому что шел дождь. Или это может быть из-за разбрызгивателя, кто-то чистит свои желоба, сломал водопровод и т. Д. Более экстремальные примеры можно найти в ссылке выше.

Это очень сложная концепция для понимания. Если нам нужны доказательства для нуля, то требуется байесовский вывод. Для меня наиболее доступным объяснением этой логики является Rouder et al. (2016). на бумаге Есть ли бесплатный обед в заключении? опубликовано в Topics in Cognitive Science, 8, стр. 520–547.

— Марк Уайт
источник

3

Мне не нравится, что все ваши примеры заключают, что «X - это правда». Наличие доказательств чего-либо - это не то же самое, что заключение чего-либо со 100% уверенностью. Если я выхожу на улицу, а земля мокрая, это свидетельствует о том, что «шел дождь». Это доказательство делает гораздо более вероятным, что дождь произошел.

— Атте

Это честно. Тот Роудер и соавт. В статье, на которую я ссылался в конце моего ответа, нет примеров, в которых можно было бы с уверенностью сделать выводы.

— Марк Уайт

6

@AtteJuvonen да, у нас есть некоторые доказательства дождя, но мы не знаем, насколько он вероятен, поэтому единственный вывод, который вы можете сделать, - это то, что «мог идти дождь, или это могло быть что-то еще, что сделало землю влажной» . Таким образом, у вас есть неубедительные доказательства. Только на основании байесовской статистики можно привести противоположный аргумент.

— Тим

3

Я не согласен с вашим выводом: «Если мы хотим получить доказательство нулевого, то байесовский вывод необходим»; исследование, которое вы цитируете, принадлежит Вагенмейкерсу, который является активным сторонником байесовской статистики, так что они, очевидно, утверждают это. Но на самом деле можно легко получить свидетельство «для нуля» в парадигме частоты, например, проведя TOST (два односторонних теста) на эквивалентность. (см. @AtteJuvonen).

— говорит амеба, восстанови Монику

10

«Если значение равно нулю, тогда вероятно высокое значение p». - это не правильно. Если нулевая гипотеза верна, то

p \sim U [0, 1]

$p\sim U[0,1]$ , поэтому высокие значения

не более вероятны, чем низкие значения при нулевой гипотезе. Все, что вы можете сказать, это то, что высокое значение

более вероятно при нулевом значении, чем при других гипотезах, но гипотезы либо верны, либо нет, поэтому гипотезы не являются вероятностным пространством, в котором мы работаем. Если только мы не работаем в байесовской парадигме! И это, к сожалению, ваш аргумент терпит неудачу.

p

$p$

p

$p$

— С. Коласса - Восстановить Монику

14

Чтобы понять, что не так с этим предположением, посмотрите следующий пример:

Представьте себе вольер в зоопарке, где вы не видите его обитателей. Вы хотите проверить гипотезу о том, что в ней обитают обезьяны, положив банан в клетку, и проверьте, пропал ли он на следующий день. Это повторяется N раз для повышения статистической значимости.

Теперь вы можете сформулировать нулевую гипотезу: учитывая, что в вольере есть обезьяны, очень вероятно, что они найдут и съедят банан, поэтому, если бананы не трогают каждый день, очень маловероятно, чтобы внутри были какие-то обезьяны.

Но теперь вы видите, что бананы исчезают (почти) каждый день. Это говорит вам, что обезьяны внутри?

Конечно, нет, потому что есть другие животные, которым тоже нравятся бананы, или, может быть, какой-то внимательный зоопарк убирает банан каждый вечер.

Так какая же ошибка в этой логике? Дело в том, что вы ничего не знаете о вероятности исчезновения бананов, если внутри нет обезьян. Чтобы подтвердить нулевую гипотезу, вероятность исчезновения бананов должна быть небольшой, если нулевая гипотеза ошибочна, но это не обязательно должно иметь место. Фактически, событие может быть одинаково вероятным (или даже более вероятным), если нулевая гипотеза неверна.

Не зная об этой вероятности, вы ничего не можете сказать о справедливости нулевой гипотезы. Если зоопарки убирают все бананы каждый вечер, эксперимент совершенно бесполезен, даже если на первый взгляд кажется, что вы подтвердили нулевую гипотезу.

— Терн
источник

Это должен быть принятый ответ.

— Эмили Л.

2

@amoeba В этом случае null Hyp будет означать, что обезьяны в клетке. Хотя бы то, что в клетке нет обезьян. Образцы, которые я собираю, представляют собой наблюдения "банан ушел" и "банан все еще там" каждое утро. Делая несколько предположений об обезьянах и их способности находить бананы, я могу рассчитать вероятность p, что я бы увидел фактический результат с обезьянами в клетке. Если бананы все еще там часто, я отклоню нулевой гип. Если бананов всегда нет, это соответствует нулевому значению, но это не доказывает, что обезьяны находятся в клетке.

— Терн

1

@amoeba Я не уверен, возможно ли напрямую перевести пример обезьяны в ваш сценарий t-теста. Насколько мне известно, проверка нулевой гипотезы обычно означает то, что Марк Уайт написал в своем ответе: «Если нулевая гипотеза верна, какова вероятность того, что мы наблюдаем наши данные (или более экстремальные данные)?». Ваш сценарий t-тестирования является частным случаем этого, но я в настоящее время не вижу, как этот сценарий можно обобщить. По своему интуитивному ощущению я бы сказал, что ваш сценарий и пример с обезьяной - это два разных способа проверки гипотез, которые нельзя сопоставить друг с другом напрямую.

— Терн

1

Если так @Nebr, то я снова очень озадачен значением вашего примера с обезьяной. Т-тест, вероятно, является наиболее распространенным тестом гипотезы; Я упомянул об этом в своем комментарии только потому, что это типичный пример теста. Если ваш пример обезьяны не применим (как вы говорите) к этому - типично! - Ситуация, то я озадачен ее смыслом. На самом деле, если вы скажете, что t-тест и пример обезьяны - это «два разных способа проверки гипотез», то можете ли вы привести пример статистического теста, который следует вашему «примеру» обезьяны? Что именно является примером вашей обезьяны аналогия?

— говорит амеба, восстанови Монику

1

@Nebr Я согласен, что это общий вопрос. Но если вы не можете дать мне ни одного примера реального статистического теста, который имел бы то же свойство, что и ваш пример с обезьяной, тогда я извиняюсь, но мне придется рассмотреть ваш пример с обезьяной в значительной степени неуместно для этой цепочки. Я не говорю, что пример обезьяны должен соответствовать t-критерию. Но это должно соответствовать чему-то !!

— говорит амеба, восстанови Монику

14

В своей знаменитой статье « Почему большинство опубликованных результатов исследований являются ложными» , Иоаннидис использовал байесовские рассуждения и ошибку базовой ставки, чтобы доказать, что большинство результатов являются ложноположительными. Вкратце, вероятность того, что конкретная исследовательская гипотеза верна после исследования, зависит, помимо прочего, от вероятности этой гипотезы до исследования (то есть базовой ставки).

В ответ Moonesinghe et al. (2007) использовали ту же структуру, чтобы показать, что репликация значительно увеличивает вероятность того, что гипотеза окажется верной. Это имеет смысл: если множественные исследования могут повторить определенный вывод, мы более уверены, что гипотеза верна.

Я использовал формулы в Moonesinghe et al. (2007), чтобы создать график, который показывает вероятность после исследования в случае невозможности воспроизвести результаты. Предположим, что определенная исследовательская гипотеза имеет вероятность до 50% быть правдоподобной. Кроме того, я предполагаю, что все исследования не имеют смещения (нереально!), Имеют мощность 80% и используют 0,05. $\alpha$

График показывает, что если по крайней мере 5 из 10 исследований не достигают значимости, наша вероятность после гипотезы, что гипотеза верна, составляет почти 0. Те же отношения существуют для большего количества исследований. Это открытие также имеет интуитивный смысл: неоднократный отказ найти эффект укрепляет нашу уверенность в том, что эффект скорее всего ложный. Это обоснование соответствует принятому ответу @RPL.

В качестве второго сценария, давайте предположим, что исследования имеют мощность только 50% (все остальные равны).

Теперь наша вероятность после исследования уменьшается медленнее, потому что у каждого исследования была только низкая мощность, чтобы найти эффект, если он действительно существовал.

— COOLSerdash
источник

Обратите внимание, что вы получаете все доказательства нулевой гипотезы из случаев, когда тест не соответствует этой гипотезе. Но предположение из OP состояло в том, что тесты подтверждают нулевую гипотезу («Если мы проводим большое исследование и не найдем статистически значимых доказательств против нулевой гипотезы, разве это не доказательство нулевой гипотезы?»). Это соответствует самой левой части ваших диаграмм и, таким образом, случаю, когда вероятность эффекта все еще составляет 50% (или, как правило, вероятность до исследования), поэтому вы ничего не получили.

— Терн

@Nebr Я не понимаю. Если мы выполним 1 большое, мощное исследование (скажем, 95% мощности), и нам не удастся найти доказательства против нулевой гипотезы (то есть тест статистической гипотезы несущественен на уровне 5%), наша вероятность после исследования будет быть 0,05 в упомянутой структуре (с вероятностью до исследования 50%).

— COOLSerdash

1

@Nebr Ваш последний комментарий не имеет никакого смысла: если результат не значителен, он не может быть «ложным срабатыванием».

— говорит амеба: восстанови Монику

1

@Nebr If you have a negative, you found evidence against the null- Что? Слово «негатив» имеет совершенно противоположное значение. Значительное значение p называется «положительным» результатом; не значимым является «отрицательный».

— говорит амеба: восстанови Монику

1

@Nebr 100% мощности НЕ означает «что если H0 истинно, мы можем быть уверены, что мы всегда увидим H1». Это означает, что если H1 истинно, мы всегда будем видеть H1. Я не буду пытаться читать ваш комментарий дальше, потому что каждое предложение сбивает с толку.

— говорит амеба: восстанови Монику

12

Лучшее объяснение, которое я видел для этого, от кого-то, чье обучение по математике.

$H_0$ $H_1$ $H_1$ $H_0$ $H_1$ $H_1$ $H_0$ $H_0$

— Кларнетист
источник

4

Может быть , вы должны смотреть на эту тему: stats.stackexchange.com/questions/163957/...

10

Если вам не нравится это следствие проверки гипотезы, но вы не готовы сделать полный переход к байесовским методам, как насчет доверительного интервала?

$42078$ $20913$ $[0.492,0.502]$

$\frac12$ $\frac12$

— Генри
источник

2

Что такое байесовский о доверительном интервале?

— kjetil b halvorsen

3

@kjetilbhalvorsen: доверительный интервал не является байесовским (вероятный интервал будет), но доверительный интервал дает больше информации о доказательствах, чем простая гипотеза отклонения /

— Генри

9

Возможно, было бы лучше сказать, что отказ от нулевой гипотезы сам по себе не является доказательством нулевой гипотезы. Как только мы рассмотрим полную вероятность данных, которая более явно учитывает объем данных, тогда собранные данные могут обеспечить поддержку параметров, попадающих в нулевую гипотезу.

Однако мы должны также тщательно обдумать наши гипотезы. В частности, неспособность отклонить точечную нулевую гипотезу не очень хорошее доказательство того, что точечная нулевая гипотеза верна. Реально, это накапливает доказательства того, что истинное значение параметра не так уж далеко от рассматриваемого вопроса. Точечные нулевые гипотезы в какой-то степени являются скорее искусственными конструкциями, и чаще всего вы действительно не верите, что они будут абсолютно верными.

Гораздо разумнее говорить о неприятии, поддерживающем нулевую гипотезу, если вы можете существенно изменить нулевую и альтернативную гипотезу, и если при этом вы отвергнете свою новую нулевую гипотезу. Когда вы пытаетесь сделать это с помощью стандартной точечной нулевой гипотезы, вы сразу же видите, что вам никогда не удастся отклонить ее дополнение, потому что тогда ваша инвертированная нулевая гипотеза содержит значения, сколь угодно близкие к рассматриваемой точке.

$H_0: |\mu| \leq \delta$ $H_A: |\mu| > \delta$ $\mu$ $\mu$ $-\delta$ $+\delta$ $1-\alpha$ $[-\delta, +\delta]$

— Бьерн
источник

4

+1. Это ИМХО должно быть принятым ответом. Я не понимаю, почему у него так мало голосов.

— говорит амеба: восстанови Монику

1

@amoeba, потому что он был опубликован поздно, но я согласен и уже добавил +1.

— Тим

6

Это скорее зависит от того, как вы используете язык. В соответствии с теорией принятия решений Пирсона и Неймана, это не доказательство нулевого, но вы должны вести себя так, как будто нулевое истинно.

Сложность исходит от модус толленс. Байесовские методы являются формой индуктивного мышления и, как таковые, являются формой неполного мышления. Методы нулевой гипотезы являются вероятностной формой modus tollens и, как таковые, являются частью дедуктивного мышления и, следовательно, являются полной формой рассуждения.

«Модус толленс» имеет вид «если A истинно, то B истинно, а B неверно; следовательно, А неверно». В этой форме было бы, если значение NULL равно true, тогда данные будут отображаться определенным образом, они не будут отображаться таким образом, поэтому (с некоторой степенью достоверности) значение NULL не является истинным (или, по крайней мере, «фальсифицировано»). «.

Проблема в том, что вы хотите «Если A, то B и B.» Из этого вы хотите сделать вывод A, но это недействительно. «Если A, то B», не исключает, «если не A, то B» также является допустимым утверждением. Рассмотрим утверждение «если это медведь, то он может плавать. Это рыба (а не медведь)». Заявления ничего не говорят о способности не-медведей плавать.

Вероятность и статистика являются разделом риторики, а не разделом математики. Это тяжелый пользователь математики, но не является частью математики. Он существует по разным причинам, убеждениям, принятию решений или выводам. Это расширяет риторику в дисциплинированную дискуссию о доказательствах.

— Дейв Харрис
источник

1

+1 за упоминание Неймана и Пирсона (см. Stats.stackexchange.com/questions/125541 ).

— говорит амеба, восстанови Монику

5

Я постараюсь проиллюстрировать это на примере.

$\mu$ $\bar{x}$ $H_0:\mu=\mu_i$ $\mu_i$ $\mu_0$ $\bar{x}$ $\mu$

$H_1:\mu=M$ $H_0:\mu=\mu_0$ $\mu\ne\mu_0$ $\mu<\mu_0$ $\mu>\mu_0$

— Macond
источник

«Теперь для какого значения μ у нас есть доказательства?» - У нас есть более веские доказательства значений, более близких к среднему значению выборки, и более слабые данные о значениях, удаленных от среднего значения выборки. Насколько сильный или слабый зависит от размера выборки и дисперсии. Что-то не так с этой интерпретацией?

— Атте

Да, это неверное толкование. Значение P - это не вероятность того, что нулевая гипотеза верна, или сила доказательств в пользу нулевой гипотезы. Точно так же вы могли бы сделать оценку интервала со средним значением выборки в середине интервала, но это не означает, что существует более высокая вероятность того, что среднее значение популяции будет близко к середине интервала. В комментарии Доминика Комтуа к вашему вопросу есть ссылка на хорошее объяснение этой неверной интерпретации.

— Macond

«это не означает, что существует более высокая вероятность того, что численность населения будет близка к середине интервала». - Это не может быть правильно. Я прочитал газету, но не смог найти ничего, что могло бы подтвердить это.

— Атте

μ

$\mu$

μ

$\mu$

P (A | B) \neq P (B | A)

$P(A|B) \ne P(B|A)$

4

$\bar x \approx 0$ $t$ $H_0: \bar x = \mu$ $\mu = -0.5$ $p > 0.05$ $H_0$ $\mu = 0.5$ $t$ $p$ $\mu = -0.5$ $\mu = 0.5$

$p$ $H_0$ $p$ $H_0$ $H_1$ $\mu$ $\mu$ $\mu$

L (μ | X) = f (X | μ)

$L(\mu | X) = f(X | \mu)$

$\hat\mu$ $\hat\mu$ $\hat\mu$ $f(\mu|X) \ne f(X|\mu)$ $f(\mu|X)$ $\hat\mu$ , Это приводит к теореме Байеса

f (μ | X) = \frac{f (X | μ) f (μ)}{\int f (X | μ) f (μ) d μ}

$f(\mu|X) = \frac{ f(X|\mu) \, f(\mu) }{ \int \, f(X|\mu) \, f(\mu) \, d\mu }$

$\mu$ $\hat\mu$ $\mu$

$H_1$ $H_0$ $H_0$ и т. д. Если вы попросите у нее некоторые цифры, она выдаст их вам, но цифры будут несопоставимы . Проблема в том, что тест / оракул проверки гипотез работает в рамках, где она может дать окончательные ответы только на вопросы, спрашивающие, согласуются ли данные с какой-либо гипотезой , а не наоборот, поскольку вы не рассматриваете другие гипотезы.

— Тим
источник

2

Давайте следовать простому примеру.

Моя нулевая гипотеза состоит в том, что мои данные соответствуют нормальному распределению. Альтернативная гипотеза состоит в том, что распределение моих данных не является нормальным.

Я рисую две случайные выборки из равномерного распределения на [0,1]. Я не могу многое сделать только с двумя образцами, поэтому я не смог бы отказаться от своей нулевой гипотезы.

Означает ли это, что я могу сделать вывод, что мои данные соответствуют нормальному распределению? Нет, это равномерное распределение!

Проблема в том, что я сделал предположение нормальности в своей нулевой гипотезе. Таким образом, я не могу сделать вывод, что мое предположение верно, потому что я не могу отвергнуть его.

— SmallChess
источник

3

Я не думаю, что исследование с двумя образцами квалифицируется как «исследование». Как только мы нарисуем разумное количество точек данных, этот пример не работает. Если мы рисуем 1000 точек данных, и они выглядят как равномерное распределение, у нас есть доказательства против нашей нулевой гипотезы. Если мы рисуем 1000 точек данных, и они выглядят как нормальное распределение, у нас есть доказательства нашей нулевой гипотезы.

— Атте

1

@AtteJuvonen Мой ответ не является попыткой определить, каким должно быть исследование. Я просто пытаюсь привести простой пример, иллюстрирующий отсутствие статической силы в вопросе. Мы все знаем, 2 образца это плохо.

— SmallChess

4

Правильно. Я просто говорю, что ваш пример иллюстрирует проблему с выводами из 2 примеров. Это не иллюстрирует проблему получения доказательств для нулевой гипотезы.

— Атте

2

$H_0$ $H_0$

$H_0$ $H_0$ $H_0$

— Дмитрий Григорьев
источник

H_{0}

$H_0$

H_{0}

$H_0$

H_{0}

$H_0$

0

Нет, это не доказательство, если у вас нет доказательств того, что это доказательство. Я не пытаюсь быть милым, скорее буквальным. У вас есть только вероятность увидеть такие данные, если предположить, что значение NULL истинно. Это ВСЕ, что вы получаете из p-значения (если таковое, поскольку p-значение основано на самих предположениях).

Можете ли вы представить исследование, которое показывает, что для исследований, которые «не в состоянии» поддержать нулевую гипотезу, большинство нулевых гипотез оказываются верными? Если вы можете найти ЭТО исследование, то ваша неспособность опровергнуть нулевые гипотезы, по крайней мере, отражает ОЧЕНЬ обобщенную вероятность того, что нулевое значение истинно. Могу поспорить, у вас нет этого исследования. Поскольку у вас нет доказательств того, что нулевые гипотезы являются истинными на основе p-значений, вам просто нужно уйти с пустыми руками.

Вы начали с предположения, что ваш ноль был истинным, чтобы получить это p-значение, поэтому p-значение ничего не может сказать о нуле, только о данных. Подумай об этом. Это однонаправленный вывод - период.

— Роджер Доджер
источник