Есть две попытки сделать именно то, что вы сказали в статистической истории, Байесовский и Фидуциальный. Р.А. Фишер основал две школы статистического мышления: школу правдоподобия, построенную на методе максимального правдоподобия, и доверительную, которая закончилась неудачей, но пытается сделать именно то, что вы хотите.
Короткий ответ относительно того, почему он потерпел неудачу, состоит в том, что его распределения вероятностей не в конечном итоге объединяются в единое целое. В итоге урок состоял в том, что предварительная вероятность - это необходимая вещь для создания того, что вы пытаетесь создать. В самом деле, вы идете по пути одного из величайших статистиков истории, и более чем несколько других великих людей погибли в надежде решить эту проблему. Если бы это было найдено, это поместило бы методы нулевой гипотезы в один ряд с байесовскими методами с точки зрения типов проблем, которые они могли бы решить. В самом деле, это протолкнуло бы Байеса за исключением тех случаев, когда существовала реальная предварительная информация.
Вы также хотите быть осторожным со своим утверждением, что значение p указывает на более высокую вероятность для альтернативы. Это верно только для школы фишерианского правдоподобия. Это совсем не так в школе Пирсона-Неймана. Ваша нижняя ставка выглядит как ставка Пирсона-Неймана, в то время как ваша p-величина несовместима, поскольку она поступает из школы Fisherian.
Чтобы быть благотворительным, я собираюсь предположить, что для вашего примера, что нет предвзятости публикации, и поэтому только значительные результаты появляются в журналах, создавая высокий уровень ложных открытий. Я рассматриваю это как случайную выборку всех выполненных исследований, независимо от результатов. Я бы сказал, что ваши шансы на ставки не будут соответствовать классическому значению слова де Финетти.
В мире де Финетти ставка является последовательной, если букмекер не может быть разыгран игроками, чтобы они понесли определенную потерю. В простейшей конструкции это похоже на решение проблемы разрезания торта. Один человек разрезает кусок пополам, а другой выбирает, какой кусок он хочет. В этой конструкции один человек будет указывать цены для ставок по каждой гипотезе, но другой человек будет либо покупать, либо продавать ставку. По сути, вы можете коротко продать ноль. Чтобы быть оптимальным, шансы должны быть строго справедливыми. P-значения не приводят к честным разногласиям.
Чтобы проиллюстрировать это, рассмотрим исследование Wetzels и др. На http://ejwagenmakers.com/2011/WetzelsEtAl2011_855.pdf.
Вот цитата: Рууд Ветцельс, Дора Мацке, Майкл Д. Ли, Джеффри Н. Роундер, Джеффри Дж. Айверсон и Эрик-Ян Вагенмакерс. Статистические данные в экспериментальной психологии: эмпирическое сравнение с использованием 855 т тестов. Перспективы психологической науки. 6 (3) 291-298. 2011
Это прямое сравнение 855 опубликованных t-тестов с использованием байесовских коэффициентов, чтобы обойти проблему предыдущего распределения. В 70% значений р между 0,05 и 0,01 байесовские факторы были в лучшем случае анекдотичными. Это связано с математической формой, используемой Frequentists для решения проблемы.
Методы нулевой гипотезы предполагают, что модель верна, и по своей конструкции используют минимаксное статистическое распределение, а не распределение вероятностей. Оба эти фактора влияют на различия между байесовскими и небайесовскими решениями. Рассмотрим исследование, в котором байесовский метод оценивает апостериорную вероятность гипотезы как три процента. Представьте, что значение p составляет менее пяти процентов. Оба верны, так как три процента - меньше чем пять процентов. Тем не менее, р-значение не является вероятностью. В нем указывается только максимальное значение, которое может быть вероятностью просмотра данных, а не фактической вероятностью гипотезы, истинной или ложной. Действительно, при построении p-значения вы не можете различить эффекты из-за случайности с истинным нулем и ложным нулем с хорошими данными.
Если вы посмотрите на исследование Ветцеля, вы заметите, что совершенно очевидно, что шансы, подразумеваемые значениями р, не совпадают с шансы, вытекающие из байесовской меры. Поскольку байесовская мера является как допустимой, так и когерентной, а небайесовская - не когерентной, небезопасно предполагать, что р-значения отображаются в истинные вероятности. Принудительное предположение о допустимости нулевого значения обеспечивает хорошие вероятности покрытия, но не дает хороших вероятностей азартных игр.
Чтобы лучше понять, почему, рассмотрим первую аксиому Кокса о том, что правдоподобность гипотезы можно описать действительным числом. Неявно это означает, что все гипотезы имеют действительные числа, связанные с их правдоподобием. В методах нулевой гипотезы только нулевое имеет действительное число, связанное с его правдоподобием. Альтернативная гипотеза не имеет измерения, и это, конечно, не дополнение к вероятности наблюдения данных, учитывая, что нулевое значение истинно. Действительно, если значение равно нулю, то допущение ложно по предположению, независимо от данных.
Если вы построите вероятности, используя p-значения в качестве основы для своих измерений, то байесовский метод, использующий байесовские измерения, всегда сможет получить преимущество над вами. Если бы байесовские шансы установили коэффициенты, то теория решений Пирсона и Неймана предоставила бы отчет о ставке или не делала ставки, но они не смогли бы определить сумму ставки. Поскольку шансы Байеса были справедливыми, ожидаемый выигрыш от использования метода Пирсона и Неймана был бы нулевым.
Действительно, исследование Wetzel - это то, о чем вы говорите, но на 145 ставок меньше. Если вы посмотрите на таблицу три, вы увидите некоторые исследования, в которых Frequentist отклоняет ноль, но байесовский обнаруживает, что вероятность благоприятствует нулю.