иерархические байесовские модели против эмпирических байесовских

Считаете ли вы, что HBM против EB - это две альтернативы, в которых гиперпараметры «в игре» отбираются / оцениваются / и т.д.? Существует очевидная связь между этими двумя.

Считаете ли вы HBM более "полностью байесовским", чем EB? Есть ли место, где я могу увидеть разницу между тем, чтобы быть «полностью байесовским» и другими альтернативами?

Благодарю.

bayesian empirical-bayes

— singelton
источник

Для обсуждения того, что означают «полностью байесовский» и «эмпирический байесовский», см. Ответы «Полностью байесовский» против «байесовский» .

спасибо прокрастинатор. Я все еще хотел бы услышать ответ об отношении к иерархическим байесовским моделям, если это возможно.

— Сингелтон

Вы можете найти это в записи в википедии « Эмпирический байесовский метод» : «эмпирический байесовский метод можно рассматривать как приближение к полностью байесовской трактовке иерархической модели, в которой параметры на самом высоком уровне иерархии устанавливаются в их наиболее вероятные значения вместо быть интегрированным ".

Я бы сказал, что HBM, безусловно, «более байесовский», чем EB, поскольку маргинализация - это скорее байесовский подход, чем оптимизация. По сути, мне кажется, что EB игнорирует неопределенность в гиперпараметрах, тогда как HBM пытается включить ее в анализ. Я подозреваю, что HMB - это хорошая идея, когда имеется мало данных и, следовательно, значительная неопределенность в гиперпараметрах, которые необходимо учитывать. С другой стороны, для больших наборов данных EB становится более привлекательным, поскольку, как правило, он менее затратен в вычислительном отношении, а объем данных часто означает, что результаты гораздо менее чувствительны к настройкам гиперпараметров.

Я работал над классификаторами гауссовских процессов и довольно часто оптимизировал гиперпараметры, чтобы максимизировать предельную вероятность, что приводит к переоснащению ML и, следовательно, к значительному снижению производительности обобщений. Я подозреваю, что в этих случаях полное лечение НВМ будет более надежным, но и гораздо более дорогим.

— Дикран Сумчатый
источник

+1 для EB игнорирует неопределенность в гиперпараметрах . Кроме того, байесовские фундаменталисты считают EB антибайесовским, потому что использование данных для оценки априорного кощунства .

Очевидно, я не фанат Байеса! HBM кажется мне правильным решением, при условии, что это на самом деле выполнимо с точки зрения вычислений, в конце дня вам нужно быть в некоторой степени прагматичным (после покупки самого большого из доступных компьютеров; o).

— Дикран Сумчатый