Список ситуаций, в которых байесовский подход проще, практичнее или удобнее

В статистике было много споров между байесовцами и частыми лицами. Я обычно нахожу это довольно отталкивающим (хотя я думаю, что это утихло). С другой стороны, я встречал несколько человек, которые придерживаются совершенно прагматичного взгляда на проблему, говоря, что иногда удобнее проводить анализ часто, а иногда проще проводить байесовский анализ. Я считаю эту перспективу практичной и освежающей.

Мне приходит в голову, что было бы полезно иметь список таких случаев. Потому что существует слишком много статистических анализов, и потому что я предполагаю, что обычно более практично проводить анализ часто встречающихся (кодирование t-критерия в WinBUGS значительно сложнее, чем отдельный вызов функции, требуемый для выполнения основанной на частоте версии в R Например, было бы неплохо иметь список ситуаций, в которых байесовский подход проще, практичнее и / или более удобен, чем подход на основе частоты.

(Два ответа, которые меня не интересуют: «всегда» и «никогда». Я понимаю, что у людей сильные мнения, но, пожалуйста, не транслируйте их здесь. Если эта тема станет местом для мелкой ссоры, я, вероятно, удалю Это моя цель - разработать ресурс, который будет полезен для аналитика, у которого есть работа, а не топор.

Люди могут предложить более одного случая, но, пожалуйста, используйте для этого отдельные ответы, чтобы каждую ситуацию можно было оценить (проголосовать / обсудить) индивидуально. Ответы должны перечислить: (1) какова природа ситуации, и (2) почему байесовский подход проще в этом случае. Некоторый код (скажем, в WinBUGS), демонстрирующий, как будет проводиться анализ и почему байесовская версия является более практичной, был бы идеальным, но я ожидаю, что он будет слишком громоздким. Если это можно сделать легко, я был бы признателен, но, пожалуйста, укажите, почему так или иначе.

Наконец, я признаю, что я не определил, что означает, что один подход «проще», чем другой. Правда в том, что я не совсем уверен, что должно означать, что один подход будет более практичным, чем другой. Я открыт для разных предложений, просто укажите свою интерпретацию, когда объясните, почему байесовский анализ более удобен в обсуждаемой ситуации.

(1) В тех случаях, когда функция правдоподобия трудноразрешима (по крайней мере, численно), использование байесовского подхода с помощью приблизительных байесовских вычислений (ABC) получило распространение по сравнению с некоторыми конкурентами, которые часто встречаются, такими как составные вероятности ( 1 , 2 ) или эмпирическая вероятность, потому что она, как правило, легче реализовать (не обязательно правильно). В связи с этим использование ABC стало популярным в тех областях, где часто встречаются неразрешимые вероятности, такие как биология , генетика и экология . Здесь мы могли бы упомянуть океан примеров.

Некоторые примеры трудноразрешимых вероятностей

• Наложенные процессы. Кокс и Смит (1954) предложили модель в контексте нейрофизиологии, которая состоит из наложенных точечных процессов. Например, рассмотрим время между электрическими импульсами, наблюдаемыми в некоторой части мозга, которые излучались несколькими нейронами в течение определенного периода. Этот образец содержит невидимые наблюдения, что затрудняет построение соответствующей вероятности, затрудняя оценку соответствующих параметров. (Частичное) частое решение было недавно предложено в этой статье . Реализация подхода ABC также была недавно изучена, и ее можно найти здесь .$N$

• Популяционная генетика является еще одним примером моделей, приводящих к неразрешимым вероятностям. В этом случае несговорчивости имеет различный характер: вероятность выражается в терминах многомерного интеграла (иногда размерности ) , который будет принимать несколько десятилетий только , чтобы оценить его в одной точке. Эта область, вероятно, является штаб-квартирой ABC.$1000+$

Как байесовское программное обеспечение улучшается, «проще применять» вопрос становится спорным. Байесовское программное обеспечение становится все проще и проще. Недавний пример из статьи под названием Байесовская оценка заменяет t-критерий . Следующий веб-сайт содержит ссылки на статью и программное обеспечение: http://www.indiana.edu/~kruschke/BEST/

Выдержка из введения в статью:

... у некоторых людей складывается впечатление, что выводы из NHST и байесовских методов имеют тенденцию совпадать в простых ситуациях, таких как сравнение двух групп: «Таким образом, если ваш основной вопрос интереса может быть просто выражен в форме, поддающейся тестированию, скажем, действительно, нет необходимости пытаться применить полный байесовский механизм к такой простой проблеме »(Brooks, 2003, p. 2694). Эта статья, напротив, показывает, что оценка байесовских параметров дает гораздо более богатую информацию, чем t-критерий NHST, и что ее выводы могут отличаться от результатов t-критерия NHST. Решения, основанные на оценке байесовских параметров, лучше обоснованы, чем решения, основанные на NHST, независимо от того, согласуются ли решения, полученные этими двумя методами, или нет.

$\theta=P(X<Y)$$X$$Y$$X$$Y$$\theta$

$X$$f(x;\xi_1)$$F(x;\xi_1)$$Y$$g(y;\xi_2)$$G(y;\xi_2)$

$(\xi_1,\xi_2)$$\theta$

$(\xi_1,\xi_2)$$(\star)$$\theta$

Я обучаюсь статистике часто (фактически, эконометрике), но у меня никогда не было конфронтационной позиции по отношению к байесовскому подходу, поскольку моя точка зрения заключается в том, что философский источник этой «эпической» битвы с самого начала был в корне неверным (я уже говорил мои взгляды тут ). На самом деле я планирую также обучить себя байесовскому подходу в ближайшем будущем.

Почему? Потому что один из аспектов статистической статистики, который меня больше всего привлекает как математическое и концептуальное стремление, в то же время меня больше всего беспокоит: асимптотика размера выборки. По крайней мере, в эконометрике почти нетСегодня в серьезной статье утверждается, что любой из различных оценщиков, обычно применяемых в экономистах с частыми статистиками, обладает любыми желаемыми свойствами «малого образца», которые мы хотели бы получить от оценщика. Все они полагаются на асимптотические свойства, чтобы оправдать их использование. Большинство использованных тестов обладают желаемыми свойствами только асимптотически ... Но мы больше не находимся в "z-land / t-land": весь сложный (и внушительный) аппарат современного частотного оценивания и вывода также является весьма своеобразным, что означает, что иногда выборка laaaaaaaaa ... aaaarge действительно необходима для того, чтобы эти драгоценные асимптотические свойства проявились и положительно повлияли на оценки, полученные из оценок, что было доказано различными моделями моделирования. Имея в виду десятки тысяч наблюдений, которые хотя и становятся доступными для некоторых областей экономической деятельности (например, рынка труда или финансовых рынков), существуют другие (например, макроэкономика), в которых они никогда не будут делать (по крайней мере, в течение моей жизни). И меня это очень беспокоит, потому что оно действительно выводит полученные результатынеопределенный (не просто стохастический).

Байесовская эконометрика для малых выборок не опирается на асимптотические результаты. «Но они полагаются на субъективный априор !» это обычный ответ ... на который мой простой, практический ответ следующий: «если явление старое и изучено ранее, то можно оценить предшествующее на основании прошлых данных. Если явление новое , чем еще, если нет Субъективными аргументами можем ли мы начать обсуждение этого ?

Это поздний ответ, тем не менее, я надеюсь, что это что-то добавит. Я прошел обучение в области телекоммуникаций, где большую часть времени мы используем байесовский подход.

Вот простой пример: предположим, что вы можете передавать четыре возможных сигнала напряжением +5, +2,5, -2,5 и -5 вольт. Один из сигналов из этого набора передается, но сигнал искажается гауссовским шумом к тому времени, когда он достигает принимающей стороны. На практике сигнал также ослабляется, но мы упустим этот вопрос для простоты. Вопрос заключается в следующем: если вы находитесь на принимающей стороне, как вы проектируете детектор, который сообщает вам, какой из этих сигналов был первоначально передан?

Эта проблема, очевидно, лежит в области проверки гипотез. Однако вы не можете использовать p-значения, так как тестирование значимости может потенциально отклонить все четыре возможных гипотезы, и вы знаете, что один из этих сигналов был фактически передан. Мы можем использовать метод Неймана-Пирсона для разработки детектора в принципе, но этот метод лучше всего подходит для двоичных гипотез. Для нескольких гипотез становится слишком неуклюжим, когда вам приходится иметь дело с числовыми ограничениями для вероятности ложных тревог. Простую альтернативу дает тестирование байесовской гипотезы. Любой из этих сигналов можно было бы выбрать для передачи, поэтому предыдущий является равновероятным. В таких равновероятных случаях метод сводится к выбору сигнала с максимальной вероятностью. Этот метод может дать хорошую геометрическую интерпретацию: выберите сигнал, который окажется ближе всего к полученному сигналу. Это также приводит к разделению пространства принятия решений на несколько областей принятия решения, так что если принятый сигнал должен попадать в конкретную область, то принимается решение, что гипотеза, связанная с этой областью принятия решения, является верной. Таким образом, дизайн детектора сделан простым.

Так называемые «частые» статистические тесты обычно эквивалентны в принципе более сложному байесовскому подходу при определенных допущениях. Когда эти допущения применимы, любой из этих подходов даст одинаковый результат, поэтому безопаснее использовать более простой тест Frequentist. Байесовский подход в целом безопаснее, потому что он делает предположения явными, но если вы знаете, что делаете, тест Frequentist часто так же хорош, как и байесовский подход, и, как правило, его легче применять.

(Я попробую то, что я думал, будет самым типичным ответом.)

Допустим, у вас есть ситуация, когда есть несколько переменных и один ответ, и вы много знаете о том, как одна из переменных должна быть связана с ответом, но не так много о других.

В такой ситуации, если вы будете выполнять стандартный множественный регрессионный анализ, это предварительное знание не будет приниматься во внимание. После этого может быть проведен мета-анализ, который может быть интересен, чтобы пролить свет на то, соответствует ли текущий результат другим результатам и может позволить немного более точную оценку (путем включения предшествующих знаний на тот момент). Но такой подход не позволил бы тому, что было известно об этой переменной, повлиять на оценки других переменных.

Другой вариант заключается в том, что можно было бы кодировать и оптимизировать свою собственную функцию, которая фиксирует связь с рассматриваемой переменной и находит значения параметров для других переменных, которые максимизируют вероятность данных с учетом этого ограничения. Проблема здесь заключается в том, что, хотя первый вариант не ограничивает адекватно бета-оценку, этот подход чрезмерно ограничивает ее.

Может оказаться возможным наладить некоторые алгоритмы, которые бы более адекватно подходили к ситуации, и подобные ситуации кажутся идеальными кандидатами для байесовского анализа. Любой, кто не противится байесовскому подходу, должен быть готов попробовать его в подобных случаях.

Область исследований, в которой байесовские методы чрезвычайно просты, а методы Frequentist чрезвычайно трудны для подражания, - это область оптимального дизайна .

$x^{(1)}$$\beta$$x^{(2)}$$\beta$

Сложность в том, что истинное значение будет определять оптимальный выбор $\beta$$x^{(i)}$$\hat \beta$$\beta$$\hat \beta$$x^{(i)}$$\beta$

$\beta$$\beta$$x$$x$

С байесовской точки зрения эта проблема очень проста.

1. $\beta$
2. $x$
3. $x$
4. Повторите шаги 2 и 3, пока желаемая точность не будет достигнута

$x$

Возможно, одним из наиболее простых и распространенных случаев, когда байесовский подход проще, является количественная оценка неопределенности параметров.

В этом ответе я не имею в виду интерпретацию доверительных интервалов и достоверных интервалов. На данный момент, давайте предположим, что пользователь в порядке с использованием любого метода.

С учетом сказанного, в байесовских рамках это прямо вперед; это предельная дисперсия апостериора для любого отдельного интересующего параметра. Предполагая, что вы можете сделать выборку сзади, затем просто взять ваши образцы и вычислить ваши отклонения. Готово!

В случае с Frequentist это обычно бывает просто в некоторых случаях, и это настоящая боль, когда это не так. Если у нас большое количество выборок и небольшое количество параметров (и кто действительно знает, насколько большой размер достаточно большой), мы можем использовать теорию MLE для получения КИ. Тем не менее, эти критерии не всегда выполняются, особенно для интересных случаев (например, модели смешанных эффектов). Иногда мы можем использовать начальную загрузку, но иногда мы не можем! В тех случаях, когда мы не можем, это может быть действительно очень сложно получить оценки ошибок, и часто требуется немного хитрости (т.е. формула Гринвуда для получения SE для кривых Каплана-Мейера). «Использование некоторого ума» не всегда надежный рецепт!