Что значит численное интегрирование слишком дорого?

Я читаю о байесовском умозаключении и натолкнулся на фразу «численная интеграция предельной вероятности слишком дорога»

У меня нет опыта в математике, и мне было интересно, что именно здесь означает дорогой ? Это просто с точки зрения вычислительной мощности или есть что-то большее.

— discretetimeisnice
источник

Это означает, что он требует слишком много вычислительной мощности, вероятно, с точки зрения процессорного времени (поскольку все вычислительные ресурсы по сути являются либо памятью, либо процессором).

— Sycorax говорит восстановить Монику

На самом деле пропускная способность связи может иногда становиться проблемой (например, между кешем / ОЗУ / диском последовательно или между вычислительными узлами параллельно).

— GeoMatt22

Это означает, что для выполнения вычислений требуется слишком много времени для одного компьютера, нашего для сети компьютеров.

— Джек Мэддингтон

И если предельная вероятность необходима в некотором цикле, то, что считается слишком дорогим, намного меньше. Например. 1-секундная процедура интеграции звучит быстро, но она может быть «слишком дорогой», если вам нужно сделать это миллион раз ...

— Мэтью Ганн

Дорого с точки зрения вычислительных затрат, поскольку для его вычисления требуется больше усилий, чем вы можете себе позволить, так как для этого требуется слишком много времени или слишком много процессоров для выполнения в разумные сроки.

— user253751

Ответы:

В контексте вычислительных задач, включая численные методы для байесовского вывода, фраза «слишком дорого» обычно может относиться к двум вопросам.

частности проблема слишком «большой» , чтобы вычислить для конкретного « бюджета »
общий подход плохо масштабируется , то есть имеет высокую вычислительную сложность

В любом случае вычислительные ресурсы, составляющие «бюджет», могут состоять из таких вещей, как циклы ЦП ( сложность времени ), память ( сложность пространства ) или пропускная способность связи ( внутри или между вычислительными узлами). Во втором случае «слишком дорого» означало бы неразрешимый .

В контексте байесовских вычислений цитата, вероятно, относится к проблемам с маргинализацией по большому количеству переменных .

Например, аннотация этой недавней статьи начинается

На интеграцию влияет проклятие размерности, и она быстро становится неразрешимой по мере роста размерности проблемы.

и продолжает говорить

Мы предлагаем рандомизированный алгоритм, который ... может, в свою очередь, использоваться, например, для предельных вычислений или выбора модели.

(Для сравнения, в этой недавней главе книги рассматриваются методы, которые считаются «не слишком дорогими».)

— GeoMatt22
источник

Это отличный ответ. Я просто добавлю, однако, что «дорогой» может все более и более восприниматься буквально. - можно значительно увеличить вычислительную мощность и объем памяти (до уровня суперкомпьютера, до тех пор, пока это необходимо), очень легко в наши дни (и довольно дешево) ... но для больших проблем все равно получится слишком дорого - - в том, что это будет стоить буквально больше реальных денег, чем у вас есть.

— Glen_b

@Glen_b это хороший момент! Я полагаю, что это значение менее распространено в опубликованной литературе ... но чаще встречается в предложениях (и их обзорах!)

— GeoMatt22

@ GeoMatt22 Это на самом деле другой способ обозначить то же значение, если подумать.

— user253751

@ GeoMatt22 Спасибо! Теперь я прекрасно понимаю, что значит дорого в байесовском контексте.

— дискретное время

Я приведу пример для отдельного случая, чтобы показать, почему интеграция / сумма сверх очень дороги.

$100$ $P(X_1, X_2, \cdots, X_{100})$ $2^{100}$

$P(X_1)$

п ({Икс}_{1}) знак равно \underset{{Икс}_{2}}{Σ} \underset{{Икс}_{3}}{Σ} \dots \underset{{Икс}_{100}}{Σ} п ({Икс}_{1}, {Икс}_{2}, \dots, {Икс}_{100})

$P(X_1)=\sum_{X_2}\sum_{X_3}\cdots \sum_{X_{100}}P(X_1, X_2, \cdots, X_{100})$

$99$ $2^{99}$

В литературе по вероятностным графическим моделям такой способ расчета предельного распределения называется «методом грубой силы» для выполнения «умозаключения». По названию мы можем знать, что это дорого. И люди используют много других способов сделать вывод, например, эффективно получить предельное распределение. «Другие способы», включая приблизительный вывод и т. Д.

— Хайтау Ду
источник

Возможно, вы могли бы также прокомментировать, почему Байесовский подход полезен здесь, как вопрос, поднятый в этом контексте.

— Тим

Обычно при выполнении байесовского вывода легко встретить тяжелую интеграцию, например, с переменными помехами. Другим примером может быть числовая выборка, как в этом случае из функции правдоподобия, что означает выполнение случайной выборки из заданного распределения. По мере увеличения количества параметров модели эта выборка становится чрезвычайно тяжелой, и были разработаны различные вычислительные методы для ускорения процедуры и обеспечения очень быстрых реализаций, сохраняя, конечно, высокий уровень точности. Этими методами являются, например, MC, MCMC, Metropolis ecc. Взгляните на Байесовский анализ данных Gelman et. Все это должно дать вам широкое представление! удачи

— Lcol
источник

Этот ответ, похоже, не отвечает на главный вопрос ОП о значении слова «дорогой» в этом контексте. Или, по крайней мере, не очень ясно.

— Shufflepants

Краткое объяснение состоит в том, чтобы познакомить читателя со смыслом вычислительной потребности при выполнении конкретного анализа в байесовской статистике, поскольку в нем утверждается, что он не математик. Во всяком случае, надеюсь, что это было понятно кому-то

— Lcol