Устойчивость перекрестной проверки в байесовских моделях

Я подгоняю байесовский HLM в JAGS, используя перекрестную проверку в k-кратном порядке (k = 5). Я хотел бы знать, стабильны ли оценки параметра во всех сгибах. Какой лучший способ сделать это? $\beta$

Одна из идей состоит в том, чтобы найти различия исходных текстов и посмотреть, находится ли 0 в 95% -ном КИ разницы. Другими словами, это 0 в 95% интервале (и затем повторите для всех пар сгибов). $\beta$ $\beta_{k=1}-\beta_{k=2}$

Другая идея состоит в том, чтобы рассматривать постеры из каждого сгиба как разные цепочки MCMC и вычислять (коэффициент уменьшения потенциальной шкалы) Гельмана для всех этих псевдо-цепочек. $\hat{R}$

Является ли один из них предпочтительным, и есть ли альтернативы?

bayesian cross-validation

— Джек Таннер
источник

Странно видеть, есть ли ноль среди достоверных различий, поскольку вы наверняка ожидаете, что между сгибами будет какая-то разница. Одним из предложений было бы рассчитать точечные оценки для каждого сгиба и посмотреть на их распространение.

β

$\beta$

— Расм Бхат,

Просто общий комментарий о перекрестной проверке и байесовском материале: почему бы просто не рассчитать WAIC? Это асимптотически эквивалентно LOOCV, и вы все равно можете использовать все свои данные.

— Brash Equilibrium

Как бы вы сгенерировали апостериорное моделирование ?

β_{k = 1} - β_{k = 2}

$\beta_{k=1}-\beta_{k=2}$

— Стефан Лоран

В наших тестах на моем бывшем заводе мы должны были доказать, что потеря урожая в 0% была при 95% доверительном интервале. Вопросы адекватных, независимых выборок и характера биномиального теста доминировали. Можете ли вы дать представление о размере ваших выборок?

— EngrStudent - Восстановить Монику

Ответы:

Я не знаю, квалифицируется ли это как комментарий или как ответ. Я кладу сюда, потому что это похоже на ответ.

В к-кратной перекрестной проверке вы разбиваете свои данные на k групп. Если вы покрываете даже «основы», то вы равномерно случайным образом выбираете членов для каждого из k элементов.

Когда я говорю о данных, я рассматриваю каждую строку как образец, а каждый столбец - как измерение. Я привык использовать разные методы для определения важности переменных, важности столбцов.

Что, если вы, как упражнение на мысль, отошли от единого случайного «учебника» и определили, какие строки были важны? Может быть, они сообщают одну переменную за раз, но, возможно, они сообщают больше. Есть ли строки, которые менее важны, чем другие? Может быть, многие из пунктов являются информативными, может быть, мало.

Зная важность переменной, возможно, вы могли бы связать их по важности. Может быть, вы могли бы сделать одну корзину с наиболее важными образцами. Это может определить размер вашего "к". Таким образом, вы будете определять «самый информативный» k-й сегмент и сравнивать его с другими и с наименее информативным.

Это может дать вам представление о максимальном изменении параметров вашей модели. Это только одна форма.

Второй способ разделения k-го сегмента - по величине и направлению влияния. Таким образом, вы можете поместить сэмплы, которые влияют на параметр или параметры в одном направлении, в одно ведро и поместить сэмплы, которые покачивают один и тот же параметр или параметры в противоположном направлении, в другое ведро.

Изменение параметра в этой форме может дать более широкий охват переменных, основанный не на плотности информации, а на породе информации.

Удачи.

— EngrStudent - Восстановить Монику
источник

Это может быть не полный ответ, но если 0 для 95% CI НЕ для нескольких различий, можно с уверенностью сказать, что они не идентичны на уровне 0,05.

— Деннис Джаэруддин
источник