Является ли байесовская статистика подлинным улучшением по сравнению с традиционной (частой) статистикой поведенческих исследований?

Во время участия в конференциях сторонники байесовской статистики немного подталкивали к оценке результатов экспериментов. Он хвалится как более чувствительный, уместный и избирательный по отношению к подлинным результатам (меньше ложных срабатываний), чем статистика по частоте.

Я немного изучил эту тему, и до сих пор меня не убеждают преимущества использования байесовской статистики. Байесовский анализ использовался, чтобы опровергнуть исследования Дэрила Бема , поддерживающие предвидение, однако, поэтому я остаюсь осторожным любопытным о том, как Байесовский анализ может принести пользу даже моим собственным исследованиям.

Поэтому мне интересно следующее:

Власть в байесовском анализе против анализа частых
Восприимчивость к типу 1 ошибка в каждом типе анализа
Компромисс в сложности анализа (байесовский кажется более сложным) в сравнении с полученными выгодами. Традиционный статистический анализ прост, с хорошо разработанными руководящими принципами для того, чтобы делать выводы. Простота может рассматриваться как выгода. Стоит ли сдаваться?

Спасибо за понимание!

bayesian power frequentist

— универсальный
источник

Байесовская статистика - это традиционная статистика. Можете ли вы привести конкретный пример того, что вы подразумеваете под традиционной статистикой?

@OphirYoktan: Он говорит о вероятности частоты в сравнении с вероятностью Байеса. Это даже упоминается в названии вопроса.

Я думаю, что этот вопрос следует перенести сюда: stats.stackexchange.com

— Марк Лапьер

Я задал вопрос на мета о том, должно ли это быть по теме.

Я думаю, что этот вопрос потенциально может иметь «хороший» или «правильный» ответ. Например, если бы кто-то мог сказать «для каждого теста с частыми данными с ошибкой типа 1 и ошибкой типа 2 , существует байесовский тест с ошибкой типа 1 и ошибкой типа 2 », это был бы хороший ответ , Или что-то вроде «каждый частый тест эквивалентен байесовскому тесту с неинформативным априорным тестом». Т.е. это не должна быть религиозная война между частыми лицами и байесами. Я спорю только потому, что не понимаю, как ответы относятся к конкретным вопросам в ОП.

α

$\alpha$

β

$\beta$

α

$\alpha$

β - x

$\beta - x$

— ШелдонКупер

Ответы:

Быстрый ответ на маркированный контент:

1) Ошибка Power / Type 1 в байесовском анализе по сравнению с анализом частоты

Вопрос о типе 1 и мощности (т. Е. Один минус вероятность ошибки типа 2) подразумевает, что вы можете поместить свою проблему вывода в структуру повторяющейся выборки. Ты можешь? Если вы не можете, то у вас нет другого выбора, кроме как отойти от часто используемых инструментов логического вывода. Если вы можете, и если поведение вашего оценщика в отношении многих таких выборок является уместным, и если вы не особенно заинтересованы в том, чтобы делать вероятностные заявления о конкретных событиях, то у меня нет веских оснований для этого.

Аргумент здесь не в том, что такие ситуации никогда не возникают - конечно, они возникают - но в том, что они обычно не возникают в областях, где применяются методы.

2) Компромисс в сложности анализа (байесовский кажется более сложным) в сравнении с полученными выгодами.

Важно спросить, куда идет сложность. В частых процедурах реализация может быть очень простой, например, минимизировать сумму квадратов, но принципы могут быть сколь угодно сложными, обычно вращаясь вокруг того, какой оценщик (ы) выбрать, как найти правильный тест (ы), что думать, когда они не согласны. Для примера. увидеть все еще живую дискуссию, собранную на этом форуме, о различных доверительных интервалах для пропорции!

В байесовских процедурах реализация может быть произвольно сложной даже в моделях, которые выглядят так, как будто они «должны» быть простыми, обычно из-за сложных интегралов, но принципы чрезвычайно просты. Скорее, это зависит от того, где бы вы хотели быть.

3) Традиционный статистический анализ прост, с хорошо разработанными руководящими принципами для того, чтобы делать выводы.

Лично я уже не могу вспомнить, но, конечно, мои ученики никогда не находили это простым, главным образом из-за принципа распространения, описанного выше. Но вопрос не в том, проста ли процедура, а в том, ближе ли она к правильности, учитывая структуру проблемы.

Наконец, я категорически не согласен с тем, что в любой парадигме существуют «устоявшиеся руководящие принципы для заключения». И я думаю, что это хорошо . Конечно, «найти p <.05» является четким ориентиром, но для какой модели, с какими исправлениями и т. Д.? И что мне делать, если мои тесты не согласны? Здесь необходимо научное или инженерное суждение, как и везде.

— conjugateprior
источник

Я не уверен, что вопрос об ошибках типа 1 / типа 2 подразумевает что-то о повторяющейся структуре выборки. Кажется, что даже если моя нулевая гипотеза не может быть выбрана повторно, все равно имеет смысл спросить о вероятности ошибки типа 1. Вероятность в этом случае, конечно, не по всем возможным гипотезам, а скорее по всем возможным выборкам из моей единственной гипотезы.

— SheldonCooper

Мне кажется, что общий аргумент таков: хотя ошибка типа 1 (или 2) может быть определена для вывода «одним выстрелом» (Тип 1 против 2 - просто часть типологии ошибок, которые я могу совершить), если только мой ошибка повторяется в повторных испытаниях, и ни один тип ошибки не может иметь частую вероятность.

— сопряженный

Я хочу сказать, что ошибка типа 1 (или 2) всегда включена в повторные испытания. Каждое испытание представляет собой набор наблюдений из нулевой гипотезы. Таким образом, даже если трудно представить выборку другой гипотезы, повторные испытания все еще существуют, потому что легко представить выборку другой серии наблюдений из этой же гипотезы.

— SheldonCooper

Загадкой мне это: как решить, что является случайным? Например, предположим, что у вас есть урна, кто-то выбирает «случайно» из урны. Также предположим, что присутствует «интеллектуальный наблюдатель», и они знают точное содержимое урны. Является ли выборка все еще «случайной», хотя «умный наблюдатель» может точно предсказать, что именно будет нарисовано? Что-нибудь изменилось в урне, если их больше нет?

— вероятностная

Проблема, с которой я сталкиваюсь с «повторяющейся» природой частых людей, заключается в том, что для работы условия должны оставаться такими же. Но если условия не изменятся, вы сможете объединить свои наборы данных и получить более точную оценку. Частотник игнорирует прошлую информацию именно в тех случаях, когда это разумно принимать во внимание.

— вероятностная

Байесовская статистика может быть получена из нескольких логических принципов. Попробуйте поискать «вероятность как расширенную логику», и вы найдете более глубокий анализ основ. Но в основном байесовская статистика опирается на три основных "десидерата" или нормативных принципа:

Правдоподобие предложения должно быть представлено одним действительным числом
$p(A|C^{(0)})$ $C^{(0)}\rightarrow C^{(1)}$ $p(A|C^{(1)})>p(A|C^{(0)})$ $p(B|A C^{(0)})=p(B|AC^{(1)})$ $p(AB| C^{(0)})\leq p(AB|C^{(1)})$ $p(\overline{A}|C^{(1)})<p(\overline{A}|C^{(0)})$
Правдоподобие предложения должно рассчитываться последовательно . Это означает, что: а) если правдоподобие можно обосновать более чем одним способом, все ответы должны быть равными; б) В двух задачах, где нам представлена одна и та же информация, мы должны присвоить одинаковые правдоподобия; и c) мы должны учитывать всю имеющуюся информацию. Мы не должны добавлять информацию, которой нет, и мы не должны игнорировать информацию, которая у нас есть.

Эти три десидераты (наряду с правилами логики и теории множеств) однозначно определяют правила сумм и произведений теории вероятностей. Таким образом, если вы хотите рассуждать в соответствии с вышеуказанными тремя желаниями, вы должны принять байесовский подход. Вам не нужно принимать «байесовскую философию», но вы должны принять числовые результаты. Первые три главы этой книги описывают их более подробно и предоставляют доказательство.

И последнее, но не менее важное: «Байесовский механизм» - это самый мощный инструмент обработки данных, который у вас есть. Это в основном из-за того, что desiderata 3c) использует всю имеющуюся у вас информацию (это также объясняет, почему Байес может быть более сложным, чем не Байес). Может быть довольно сложно решить, «что имеет значение», используя вашу интуицию. Теорема Байеса делает это за вас (и делает это без добавления произвольных предположений, в том числе из-за 3c).

$H_0$ $H_1$ $L_1$ $H_0$ $L_2$ $H_0$

$P(H_0|E_1,E_2,\dots)$ $E_i$
$P(H_1|E_1,E_2,\dots)$
$O=\frac{P(H_0|E_1,E_2,\dots)}{P(H_1|E_1,E_2,\dots)}$
$H_0$ $O > \frac{L_2}{L_1}$

$H_0$ $O>>1$ $H_1$ $O<<1$ $O\approx 1$

Теперь, если расчет становится «слишком сложным», вы должны либо приблизить числа, либо игнорировать некоторую информацию.

Фактический пример с отработанными числами смотрите в моем ответе на этот вопрос.

— probabilityislogic
источник

Я не уверен, как это отвечает на вопрос. Частые участники, конечно, не согласны с желанием 1 из этого списка, поэтому остальная часть аргумента к ним не относится. Он также не отвечает ни на один из конкретных вопросов в ОП, например, «является ли байесовский анализ более мощным или менее подверженным ошибкам, чем анализ по частоте».

— SheldonCooper

@sheldoncooper - если частый участник не согласен с desideratum 1, то на каком основании он может построить 95% доверительный интервал? Они должны требовать дополнительный номер.

— вероятностная

@sheldoncooper - и, кроме того, вероятности выборки должны быть переопределены, потому что они тоже только 1 число. Частотный не может отказаться от дезидерат 1 , не отвергая свою собственную теорию

— probabilityislogic

p (H_{1} | . . .)

$p(H_1|...)$

p (E_{1}, E_{2}, . . . | H_{0})

$p(E_1, E_2, ... | H_0)$

H_{0}

$H_0$

«они не могут отвергнуть desideratum 1, не отвергнув свою собственную теорию» - что вы подразумеваете под этим? У частых нет понятия «правдоподобие». У них есть понятие "частота встречаемости в повторных испытаниях". Эта частота удовлетворяет условиям, схожим с вашими тремя желаемыми, и, следовательно, соответствует аналогичным правилам. Таким образом, для всего, для чего определено понятие частоты, вы можете без проблем использовать законы вероятности.

— ШелдонКупер

Я сам не знаком с Байесовской статистикой, но знаю, что в «Руководстве по скептикам к Вселенной» 294 есть интервью с Эриком-Яном Вагенмакерсом, где они обсуждают Байесовскую статистику. Вот ссылка на подкаст: http://www.theskepticsguide.org/archive/podcastinfo.aspx?mid=1&pid=294.