Ответы:
В основном проблема заключается в том, что байесовский анализ включает в себя интегралы , часто многомерные, в реалистических задачах, и именно эти интегралы обычно неразрешимы аналитически (за исключением нескольких особых случаев, требующих использования сопряженных априорных значений).
Напротив, большая часть небайесовской статистики основана на максимальной вероятности - нахождении максимума (обычно многомерной) функции, которая включает в себя знание ее производных , то есть дифференцирования. Несмотря на это, численные методы используются во многих более сложных задачах, но без них можно продвигаться чаще, а численные методы могут быть проще (даже если менее простые могут работать лучше на практике).
Так что я бы сказал, что все сводится к тому, что дифференциация более гибкая, чем интеграция.
У меня была возможность задать Дэвиду Блею этот вопрос лично, и он сказал мне, что неразрешимость в этом контексте означает одну из двух вещей:
Интеграл не имеет решения в замкнутой форме. Это может быть когда мы моделируем некоторые сложные реальные данные, и мы просто не можем записать распределение на бумаге.
Интеграл является вычислительно неразрешимым. Он посоветовал мне сесть с ручкой и бумагой и на самом деле выработать предельные доказательства для байесовской смеси гауссиан. Вы увидите, что это трудно поддается вычислению, то есть экспоненциально. Он приводит хороший пример этого в недавней статье (см. 2.1. Проблема приближенного вывода ).
FWIW, я нахожу это слово выбор запутывающим, так как (1) оно перегружено по значению и (2) оно уже широко используется в CS для ссылки только на вычислительную неразрешимость.
На самом деле, существует целый ряд возможностей:
Люди обычно имеют в виду что-то вроде (2), когда они говорят о (не аналитически) непроходимой апостериорной, и что-то вроде (3), когда они говорят о непроходимой вероятности. Это третий случай, когда приблизительное байесовское вычисление является одним из вариантов, в то время как во втором случае обычно возможны методы MCMC (которые, как вы можете утверждать, являются в некотором смысле приблизительными). Я не совсем уверен, к какой из этих двух цитат относится ваша цитата.
Способность к трактовке связана с замкнутостью выражения .
Говорят, что проблемы можно решить, если они могут быть решены с помощью выражения в замкнутой форме.
В математике выражение в замкнутой форме - это математическое выражение, которое может быть оценено за конечное число операций. Он может содержать константы, переменные, определенные «хорошо известные» операции (например, + - × ÷) и функции (например, n-й корень, показатель степени, логарифм, тригонометрические функции и обратные гиперболические функции), но обычно без ограничений. Набор операций и функций, допускаемых в выражении закрытой формы, может варьироваться в зависимости от автора и контекста.
Таким образом, неразрешимость означает, что существует некоторый предел / бесконечность (например, бесконечное суммирование в интегралах), который не может быть оценен за конечное число операций, и, следовательно, должны использоваться методы аппроксимации (такие как MCMC).
Статья в Википедии указывает на тезис Кобхэма, который пытается формализовать этот «объем операций» и, следовательно, управляемость.