Каковы минусы байесовского анализа?

Каковы некоторые практические возражения против использования байесовских статистических методов в любом контексте? Нет, я не имею в виду обычное придурок по поводу выбора предшествующего. Я буду рад, если это не получит ответов.

Я собираюсь дать вам ответ. На самом деле четыре недостатка. Обратите внимание, что на самом деле ни одно из этих возражений не должно приводить к частому анализу, но есть недостатки против использования байесовской структуры:

1. Выбор предшествующий. Это обычный карп по какой-то причине, хотя в моем случае это не обычные «приоры субъективны!» но то, что придумывание априора хорошо обосновано и фактически представляет собой вашу лучшую попытку обобщить априор, во многих случаях является большой работой. Например, всю цель моей диссертации можно сформулировать как «оценка априорных показателей».
2. Это вычислительно интенсивно. Особенно для моделей, включающих много переменных. Для большого набора данных с множеством оцениваемых переменных вполне может быть чрезмерно интенсивный вычислительный процесс, особенно в определенных обстоятельствах, когда данные не могут быть легко выброшены в кластер или тому подобное. Некоторые способы решения этой проблемы, такие как расширенные данные, а не MCMC, теоретически сложны, по крайней мере для меня.
3. Апостериорные распределения несколько сложнее включить в метаанализ, если только не было предоставлено частичное параметрическое описание распределения.
4. В зависимости от того, для какого журнала предназначен анализ, либо использование байесовского метода в целом, либо выбор вами априорных оценок, дает вашей статье немного больше баллов, чтобы рецензент мог ее изучить. Некоторые из них являются обоснованными возражениями рецензента, но некоторые просто вытекают из природы Байеса и того, насколько знакомы люди в некоторых областях.

Ничто из этого не должно остановить вас. Действительно, ни одна из этих вещей не остановила меня, и, надеюсь, выполнение байесовского анализа поможет решить хотя бы номер 4.

Я байесовец по склонности, но в целом часто на практике. Причиной этого обычно является то, что выполнение полного байесовского анализа должным образом (а не, например, решения MAP) для типов проблем, которые меня интересуют, является сложным и вычислительно интенсивным. Часто требуется полный байесовский анализ, чтобы действительно увидеть преимущество этого подхода по сравнению с частыми эквивалентами.

Для меня компромисс - это в основном выбор между байесовскими методами, которые являются концептуально элегантными и простыми для понимания, но трудными для реализации на практике, и частыми методами, которые концептуально неуклюжи и тонки (попробуйте объяснить, как правильно интерпретировать тест гипотезы почему нет 95% вероятности того, что истинное значение лежит в 95% доверительном интервале), но они хорошо подходят для легко реализуемых решений «поваренной книги».

Лошади на курсы.

С чисто практической точки зрения, я не фанат методов, которые требуют большого количества вычислений (я имею в виду сэмплер Гиббса и MCMC, часто используемые в байесовской структуре, но это также относится, например, к методам начальной загрузки в аналитике частоты). Причина в том, что любой вид отладки (тестирование реализации, проверка надежности относительно предположений и т. Д. ) Сам по себе требует кучу симуляций Монте-Карло, и вы быстро попадаете в вычислительную сложность. Я предпочитаю, чтобы основные методы анализа были быстрыми и детерминированными, даже если они только приблизительны.

Конечно, это чисто практическое возражение: учитывая бесконечные вычислительные ресурсы, это возражение исчезнет. И это относится только к подмножеству байесовских методов. Кроме того, это больше предпочтений, учитывая мой рабочий процесс.

Иногда существует простое и естественное «классическое» решение проблемы, и в этом случае причудливый байесовский метод (особенно с MCMC) будет излишним.

Кроме того, в задачах с типом выбора переменной может быть более простым и понятным рассмотреть что-то вроде штрафной вероятности; может существовать априор для моделей, который дает эквивалентный байесовский подход, но то, как априор соответствует конечной производительности, может быть менее ясным, чем взаимосвязь между штрафом и производительностью.

Наконец, методы MCMC часто требуют эксперта как для оценки сходимости / смешивания, так и для понимания результатов.

Я относительно новичок в байесовских методах, но одна вещь, которая меня раздражает, заключается в том, что, хотя я понимаю обоснование приоритетов (то есть наука - совокупное стремление, поэтому для большинства вопросов есть некоторый предыдущий опыт / мышление, которое должно проинформировать вас интерпретация данных), мне не нравится, что байесовский подход заставляет вас подтолкнуть субъективность к началу анализа, что делает конечный результат условным. Я полагаю, что это проблематично по двум причинам: 1) некоторые менее опытные читатели даже не обращают внимания на приоры и интерпретируют байесовские результаты как непредвиденные; 2) если исходные данные не доступны, читателям трудно переосмыслить результаты в своих собственных субъективных приоритетах. Вот почему я предпочитаю отношения правдоподобия,

(Проницательные критики заметят, что даже отношение правдоподобия является «условным» в том смысле, что оно зависит от параметризации сравниваемых моделей; однако это свойство характерно для всех методов, Frequentist, Bayesian и Likelihoodist)

Теория принятия решений является основной теорией, на которой работает статистика. Проблема состоит в том, чтобы найти хорошую (в некотором смысле) процедуру для принятия решений на основе данных. Однако редко существует однозначный выбор процедуры в смысле минимизации ожидаемых потерь, поэтому для выбора из них необходимо использовать другие критерии. Выбор процедур Байеса в отношении некоторых предыдущих является одним из этих критериев, но это не всегда может быть то, что вы хотите. Минимакс может быть более важным в некоторых случаях или непредвзятости.

Любой, кто настаивает на том, что частые люди ошибаются, или байесовский или неправильный, в основном показывает свое незнание статистики.

В течение некоторого времени я хотел больше узнать о байесовских подходах к моделированию, чтобы обойти свое поверхностное понимание (я кодировал сэмплеры Гиббса в аспирантуре, но никогда не делал ничего реального). По пути, хотя я думал, что некоторые из работ Брайана Денниса были провоцирующими, я хотел найти байесовского друга (тех, кто не был в шкафу), чтобы читать газеты и выслушивать их контрапункты. Итак, вот документы, на которые я ссылаюсь, но цитата, которую я всегда помню,

Быть байесовским значит никогда не говорить, что ты не прав.

http://faculty.washington.edu/skalski/classes/QERM597/papers/Dennis_1996.pdf http://classes.warnercnr.colostate.edu/nr575/files/2011/01/Lele-and-Dennis-2009.pdf

Каковы открытые проблемы в байесовской статистике из ежеквартального информационного бюллетеня ISBA, перечисляющего 5 проблем с байесовской статистикой от различных лидеров в этой области, причем № 1, как ни странно, «Выбор модели и проверка гипотез».