Какая из них является нулевой гипотезой? Конфликт между теорией науки, логикой и статистикой?

Мне трудно понять основную логику в установлении нулевой гипотезы . В этом ответе очевидно общепринятое утверждение гласит, что нулевая гипотеза - это гипотеза о том, что не будет никакого эффекта, все останется тем же, то есть ничего нового под солнцем, так сказать.

Тогда вы пытаетесь доказать альтернативную гипотезу, например, о том, что новый препарат выполняет свои обещания.

Теперь, исходя из теории науки и общей логики, мы знаем, что мы можем только фальсифицировать предложения, мы не можем что-то доказать (никакое количество белых лебедей не может доказать, что все лебеди белые, но один черный лебедь может это опровергнуть). Вот почему мы пытаемся опровергнуть нулевую гипотезу, которая не эквивалентна доказательству альтернативной гипотезы - и именно здесь начинается мой скептицизм - я приведу простой пример:

Допустим, я хочу узнать, что за зверь стоит за занавеской. К сожалению, я не могу непосредственно наблюдать за животным, но у меня есть тест, который дает мне количество ног этого животного. Теперь у меня есть следующие логические рассуждения:

Если животное - собака, то у него будет 4 ноги.

Если я проведу тест и обнаружу, что у него 4 ноги, это не доказательство того, что это собака (это может быть лошадь, носорог или любое другое животное с 4 ногами). Но если я узнаю, что у него нет 4 ног, то это определенное доказательство того, что это не может быть собака (при условии здорового животного).

В переводе на эффективность наркотиков я хочу выяснить, эффективен ли препарат за кулисами. Единственное, что я получу, это число, которое дает мне эффект. Если эффект положительный, ничего не доказано (4 ноги). Если эффекта нет, я опровергаю эффективность препарата.

Говоря обо всем этом, я думаю - вопреки распространенному мнению - единственно верная нулевая гипотеза должна быть

Препарат эффективен (то есть: если препарат эффективен, вы увидите эффект).

потому что это единственное, что я могу опровергнуть - до следующего раунда, где я пытаюсь быть более конкретным и так далее. Так что это нулевая гипотеза, которая утверждает эффект, а альтернативная гипотеза является значением по умолчанию ( без эффекта ).

Почему статистические тесты, кажется, имеют это задом наперед?

PS : Вы не можете даже отрицать выше гипотезу , чтобы получить действительную эквивалентную гипотезу, так что вы не можете сказать : «Препарат не эффективен» в качестве нулевой гипотезы , потому что только логически эквивалентная форма будет «если вы не видите не эффект препарата будет не быть «эффективный», который никуда вас не приведет, потому что теперь вывод - это то, что вы хотите узнать!

PPS : Просто для пояснения после прочтения ответов: если вы принимаете научную теорию, что вы можете только фальсифицировать утверждения, но не доказывать их, единственно логически непротиворечивым является выбор нулевой гипотезы в качестве новой теории, которая затем может быть фальсифицированы. Потому что, если вы фальсифицируете статус-кво, вы останетесь с пустыми руками (статус-кво опровергнут, но новая теория далеко не доказана!). И если вам не удастся сфальсифицировать это, вы не в лучшем положении.

В статистике есть тесты на эквивалентность, а также более распространенный тест на Нуль и решают, достаточно ли доказательств против него. Тест эквивалентности переворачивает это с ног на голову и утверждает, что эффекты отличаются от Нулевых, и мы определяем, есть ли достаточные доказательства против этого Нулевых.

Я не совсем понимаю ваш пример с наркотиками. Если ответ является значением / индикатором эффекта, то эффект 0 будет означать неэффективность. Можно было бы установить это как Нулевое и оценить доказательства против этого. Если эффект достаточно отличается от нуля, мы можем заключить, что гипотеза неэффективности не соответствует данным. Двусторонний тест будет считать достаточно отрицательные значения эффекта в качестве доказательства против Нуль. Односторонний тест, эффект положительный и достаточно отличный от нуля, может быть более интересным.

Если вы хотите проверить, равен ли эффект 0, то нам нужно было бы перевернуть его и использовать тест эквивалентности, где H0 - это эффект, не равный нулю, и альтернативой является то, что H1 = эффект = 0. оценил бы доказательства против идеи, что эффект отличался от 0.

Я думаю, что это еще один случай, когда статистика часто не может дать прямой ответ на вопрос, который вы на самом деле хотите задать, и поэтому отвечает на (не так) слегка другой вопрос, и легко ошибочно истолковать это как прямой ответ на вопрос. вопрос, который вы на самом деле хотели задать.

Что мы действительно хотели бы спросить, так это какова вероятность того, что альтернативная гипотеза верна (или, возможно, насколько она более правдива, чем нулевая гипотеза). Однако частый анализ принципиально не может ответить на этот вопрос, так как для частого вероятности вероятность является долгосрочной частотой, и в этом случае нас интересует истинность конкретной гипотезы, которая не имеет долгосрочной частоты - это либо правда или нет. Байесовский, с другой стороны, может ответить на этот вопрос напрямую, так как для байесовской вероятности вероятность является мерой правдоподобия какого-либо предложения, поэтому в байесовском анализе совершенно разумно отнести вероятность к истинности конкретной гипотезы.

Частые люди обращаются с конкретными событиями так, чтобы они рассматривались как выборка из некоторой (возможно, фиктивной) совокупности и делали заявление об этой совокупности вместо утверждения о конкретной выборке. Например, если вы хотите узнать вероятность смещения конкретной монеты, после наблюдения N бросков и наблюдения за h головами и t хвостами, анализ частых ответов не может ответить на этот вопрос, однако они могут подсказать вам долю монет из распределения несмещенные монеты, которые давали бы h или больше голов, если их перевернуть N раз. Поскольку естественное определение вероятности, которое мы используем в повседневной жизни, обычно является байесовским, а не частым, слишком легко воспринимать это как вероятность того, что нулевая гипотеза (монета беспристрастна) верна.

По существу, тесты с гипотезами о частоте имеют скрытый субъективистский байесовский компонент, скрывающийся в его сердце. Тест на частоту может сказать вам вероятность наблюдения статистики, по крайней мере, как экстремальной при нулевой гипотезе, однако решение отклонить нулевую гипотезу на этих основаниях является полностью субъективным, для вас нет рационального требования сделать это. Опыт Essentiall показал, что мы, как правило, достаточно обоснованно отвергаем нуль, если значение p достаточно мало (опять же, порог субъективен), так что это традиция. AFAICS это не вписывается в философию или теорию науки, это по сути эвристика.

Это не означает, что это плохо, хотя, несмотря на свои недостатки, тестирование гипотезы часто встречающихся препятствий должно преодолеть наше исследование, которое помогает нам как ученым сохранять самоскептицизм и не увлекаться энтузиазмом по отношению к нашим теориям. Так что, хотя я в душе байесовец, я все еще регулярно пользуюсь тестами на гипотезы частых людей (по крайней мере, до тех пор, пока рецензенты журналов не освоятся с альтернативами Байесаина).

Чтобы добавить к ответу Гевина, пару вещей:

Во-первых, я слышал эту идею, что суждения могут быть только сфальсифицированы, но никогда не доказаны. Не могли бы вы опубликовать ссылку на обсуждение этого, потому что с нашей формулировкой здесь, кажется, не очень хорошо - если X является предложением, то не (X) тоже предложение. Если опровержение предположений возможно, то опровержение X - это то же самое, что доказательство отсутствия (X), и мы доказали предложение.

$test_+$

Препарат эффективен (т. Е. Если препарат эффективен, вы увидите эффект).

$test_+$$test_+$$H_0$

$test_+$$H_0$$test_+$$H_0$

Таким образом, разница между делом о собаке и делом об эффективности заключается в целесообразности вывода из доказательства в заключение. В случае с собакой вы наблюдали некоторые доказательства, которые не подразумевают наличие собаки. Но в случае клинического испытания вы наблюдали некоторые доказательства, которые действительно подразумевают эффективность.

Вы правы в том, что, в некотором смысле, тестирование частых гипотез имеет его в обратном направлении. Я не говорю, что такой подход неправильный, а скорее что результаты часто не предназначены для ответа на вопросы, которые больше всего интересуют исследователя. Если вы хотите метод, более похожий на научный метод, попробуйте байесовский вывод .

Вместо того, чтобы говорить о «нулевой гипотезе», которую вы можете отвергнуть или не принять, с байесовским выводом вы начинаете с предварительного распределения вероятностей, основанного на вашем понимании ситуации. Когда вы приобретаете новые доказательства, байесовский умозаключение предоставляет вам основу для обновления ваших убеждений с учетом принятых доказательств. Я думаю, что это больше похоже на то, как работает наука.

Я думаю, у вас здесь есть фундаментальная ошибка (не то, что вся область проверки гипотез ясна!), Но вы говорите, что альтернатива - это то, что мы пытаемся доказать. Но это не правильно. Мы пытаемся отклонить (фальсифицировать) ноль. Если бы результаты, которые мы получили, были бы очень маловероятными, если бы нулевое значение было истинным, мы отклоняем нулевое значение.

Теперь, как говорили другие, это обычно не тот вопрос, который мы хотим задать: нас обычно не волнует, насколько вероятны результаты, если значение равно нулю, нам важно, насколько вероятен нуль, учитывая результаты.

Если я вас правильно понимаю, вы согласны с покойным великим Полом Мейлом. Видеть

Meehl, PE (1967). Тестирование теории в психологии и физике: методологический парадокс . Философия науки , 34 : 103-115.

Я остановлюсь на упоминании Пола Мила в @Doc:

1) Проверка противоположности вашей исследовательской гипотезы, поскольку нулевая гипотеза делает это так, что вы можете только подтвердить результат, который является «формально неверным» аргументом. Выводы не обязательно вытекают из предпосылки.

If Bill Gates owns Fort Knox, then he is rich.
Bill Gates is rich.
Therefore, Bill Gates owns Fort Knox.

http://rationalwiki.org/wiki/Affirming_the_consequent

Если теория «Это лекарство улучшит выздоровление» и вы наблюдаете улучшение выздоровления, это не значит, что вы можете сказать, что ваша теория верна. Появление улучшенного восстановления могло произойти по какой-то другой причине. Никакие две группы пациентов или животных не будут в точности одинаковыми в начале исследования и будут меняться со временем в ходе исследования. Это большая проблема для наблюдательных, чем для экспериментальных исследований, потому что рандомизация «защищает» от серьезного дисбаланса неизвестных смешанных факторов на исходном уровне. Однако рандомизация на самом деле не решает проблему. Если ошибки не известны, у нас нет возможности определить степень успешности «защиты от рандомизации».

Также см. Таблицу 14.1 и обсуждение того, почему ни одна теория не может быть проверена сама по себе (всегда есть вспомогательные факторы, которые помечаются вместе) в:

Пол Миль. «Проблема в эпистемологии, а не в статистике: замените тесты достоверности на доверительные интервалы и количественно определите точность рискованных числовых прогнозов» в LL Harlow, SA Mulaik, & JH Steiger (Eds.), Что если бы не было тестов на значимость? (стр. 393–425) Махва, Нью-Джерси: Эрлбаум, 1997.

2) Если вводится некоторый тип смещения (например, дисбаланс по некоторым смешанным факторам), мы не знаем, в каком направлении будет лежать это смещение или насколько оно сильное. Наилучшее предположение, которое мы можем сделать, состоит в том, что существует 50% вероятность смещения группы лечения в направлении более высокого восстановления. По мере того, как размеры выборки становятся большими, также есть 50% -ная вероятность того, что ваш тест значимости обнаружит эту разницу, и вы будете интерпретировать данные как подтверждающие вашу теорию.

Эта ситуация полностью отличается от случая с нулевой гипотезой, что «Этот препарат улучшит восстановление на х%». В этом случае наличие какой-либо предвзятости (которая, я бы сказал, всегда существует при сравнении групп животных и людей) повышает вероятность того, что вы откажетесь от своей теории.

Подумайте о «пространстве» (Meehl называет его «Spielraum») возможных результатов, ограниченных самыми экстремальными измерениями. Возможно, восстановление может быть 0-100%, и вы можете измерять с разрешением 1%. В случае тестирования общепринятых значений пространство, соответствующее вашей теории, составит 99% возможных результатов, которые вы могли бы наблюдать. В случае, когда вы прогнозируете конкретную разницу, пространство, соответствующее вашей теории, будет составлять 1% возможных результатов.

Другой способ выразить это в том, что поиск доказательств против нулевой гипотезы среднее значение 1 = среднее значение 2 не является серьезным испытанием гипотезы исследования о том, что лекарство что-то делает. Нулевое значение mean1 <mean2 лучше, но все же не очень хорошо.

Смотрите рисунки 3 и 4 здесь: (1990). Оценка и внесение изменений в теории: стратегия защиты Лакатосиана и два принципа, которые оправдывают ее использование . Психологический запрос, 1, 108-141, 173-180

Разве не вся статистика основана на предположении, что в естественном мире нет ничего определенного (в отличие от искусственного мира игр и т. Д.). Другими словами, единственный способ приблизиться к его пониманию - это измерить вероятность того, что одна вещь соотносится с другой, и она колеблется от 0 до 1, но может быть только 1, если мы можем проверить гипотезу бесконечное число раз за бесконечное количество разных обстоятельств, что, конечно, невозможно. И мы никогда не узнаем, что это был ноль по той же причине. Это более надежный подход к пониманию реальности природы, чем математика, которая имеет дело с абсолютами и в основном опирается на уравнения, которые, как мы знаем, являются идеалистическими, потому что, если буквально сторона LH уравнения действительно = сторона RH, обе стороны можно повернуть вспять, и мы бы ничего не узнали. Строго говоря, это относится только к статическому миру, а не к «естественному», который по своей природе является турбулентным. Следовательно, нулевая гипотеза должна даже служить основой математики - всякий раз, когда она используется для понимания самой природы.

Я думаю, что проблема в слове «правда». Реальность мира природы изначально непостижима, поскольку она бесконечно сложна и бесконечно изменчива во времени, поэтому «истина», применяемая к природе, всегда условна. Все, что мы можем сделать, это попытаться найти уровни вероятного соответствия между переменными путем повторного эксперимента. В нашей попытке осмыслить реальность, мы ищем в ней что-то вроде порядка и строим в ее сознании концептуально осознанные модели этого, чтобы помочь нам принимать разумные решения, НО это в значительной степени случайный случай, потому что всегда есть неожиданный. Нулевая гипотеза - единственная надежная отправная точка в нашей попытке осмыслить реальность.

Мы должны выбрать нулевую гипотезу, которую мы хотим отклонить.

Поскольку в нашем сценарии проверки гипотез существует критическая область, если область, о которой идет речь, входит в критическую область, мы отвергаем гипотезу, в противном случае мы принимаем гипотезу.

Итак, предположим, что мы выбрали нулевую гипотезу, которую мы хотим принять. И область под нулевой гипотезой не попадает под критическую область, поэтому мы примем нулевую гипотезу. Но проблема здесь в том, что если область в соответствии с нулевой гипотезой попадает в приемлемую область, то это не означает, что область в альтернативной гипотезе не попадет в приемлемую область. И если это так, то наша интерпретация результата будет неправильной. Таким образом, мы должны воспринимать эту гипотезу как пустую гипотезу, которую мы хотим отвергнуть. Если мы можем отклонить нулевую гипотезу, то это означает, что альтернативная гипотеза верна. Но если мы не можем отклонить нулевую гипотезу, то это означает, что любая из двух гипотез может быть верной. Может быть, тогда мы сможем пройти еще один тест, в котором мы можем принять нашу альтернативную гипотезу за нулевую гипотезу, и тогда мы можем попытаться отклонить это. Если мы сможем отклонить альтернативную гипотезу (которая теперь является нулевой гипотезой), то мы можем сказать, что наша первоначальная нулевая гипотеза была верной.