Когда использовать бутстрап против байесовской техники?

У меня довольно сложная проблема анализа решений, связанная с проверкой надежности, и логический подход (для меня), похоже, предполагает использование MCMC для поддержки байесовского анализа. Тем не менее, было высказано предположение, что было бы более целесообразно использовать подход начальной загрузки. Может ли кто-нибудь предложить ссылку (или три), которые могут поддержать использование одной из техник над другой (даже для определенных ситуаций)? FWIW, у меня есть данные из нескольких разрозненных источников и мало / нулевых наблюдений отказов. У меня также есть данные на уровне подсистем и систем.

Кажется, такое сравнение должно быть доступно, но мне не повезло, что я искал обычных подозреваемых. Заранее спасибо за любые указатели.

bayesian bootstrap

— Энгус
источник

Учитывая, что классический бутстрап можно рассматривать как реализованный на компьютере метод максимального правдоподобия (т. Е. Не байесовский метод), было бы лучше перефразировать ваш вопрос примерно так: «когда использовать частотный или байесовский метод» ?» Некоторые сведения о начальной загрузке: stats.stackexchange.com/questions/18469/…

— Евгений

Хммм .. Думаю, я не согласен. Надеемся, что «начальная загрузка» специально предлагает характеристику интервала; немного более сфокусирован, чем просто «частый». По крайней мере, «бутстрап» будет держать большинство религиозных фанатиков в страхе. Кроме того, спасибо за ссылку, но я был знаком с вашим предыдущим комментарием, прежде чем опубликовать это.

— Энгус

Позвольте мне перефразировать, у вас есть какая-либо полезная предварительная информация, или у проблемы есть иерархическая (вложенная) структура? Если это так, то байесовский метод, вероятно, лучше (особенно, если количество параметров модели велико по сравнению с объемом доступных данных, поэтому оценка выиграет от «байесовского сжатия»). В противном случае MLE / bootstrap достаточно.

— Евгений

Я предполагаю, что другой возможный подход заключается в использовании моделей со смешанными эффектами (например, с использованием пакета R lme4) для моделирования иерархической структуры, к которой вы добавили. Это также поможет стабилизировать оценки для (иерархических) моделей с большим количеством параметров.

— Евгений

Бутстрап-анализ очень хорошо можно рассматривать как байесовский анализ, поэтому ваш вопрос почти также может быть «Когда использовать бутстрап против другой байесовской модели» (Ваш вопрос подтолкнул меня к написанию этой интерпретации бутстрапа как байесовской модели). : sumsar.net/blog/2015/04/… ). Учитывая вопрос, я согласен с @Yevgeny, что нам, вероятно, потребуется больше информации относительно вашей конкретной проблемы, прежде чем мы сможем рекомендовать модель.

— Расм Бхат

Ответы:

На мой взгляд, описание вашей проблемы указывает на две основные проблемы. Первый:

У меня довольно сложный анализ решений ...

Предполагая, что у вас есть функция потери , вам нужно решить, заботитесь ли вы о частом риске или последующей ожидаемой потере . Загрузчик позволяет вам аппроксимировать функционалы распределения данных, поэтому он поможет с первым; а последующие образцы из MCMC позволят вам оценить последнее. Но...

У меня также есть данные на уровне подсистем и систем

поэтому эти данные имеют иерархическую структуру. Байесовский подход очень естественно моделирует такие данные, в то время как начальная загрузка изначально была разработана для данных, смоделированных как iid. Хотя она была расширена до иерархических данных (см. Ссылки во введении к этой статье ), такие подходы относительно слабо развиты (согласно резюме эта статья ).

Подводя итог: если вас действительно волнует частый риск, тогда может потребоваться какое-то оригинальное исследование по применению начальной загрузки к теории принятия решений. Однако, если минимизация апостериорных ожидаемых потерь является более естественным подходом к вашей проблеме решения, Байес, безусловно, является подходящим решением.

— Cyan
источник

Спасибо, я не сталкивался ни с одним из них; последняя статья кажется особенно интересной.

— Энгус

Я читал, что непараметрический бутстрап можно рассматривать как частный случай байесовской модели с дискретным (очень) неинформативным априорным предположением, когда в модели делаются предположения о том, что данные являются дискретными, а область Ваше целевое распределение полностью наблюдается в вашей выборке.

Вот две ссылки:

— Стив
источник