Что именно является байесовской моделью?

34

Можно ли назвать модель, в которой используется теорема Байеса, «байесовской моделью»? Боюсь, такое определение может быть слишком широким.

Так что же такое байесовская модель?

machine-learning bayesian

— Sibbs Gambling
источник

9

Байесовская модель - это статистическая модель, составленная из пары до x вероятность = задний x маргинальный. Теорема Байеса несколько вторична понятию априора.

— Сиань

18

По сути, тот, где вывод основан на использовании теоремы Байеса для получения апостериорного распределения для количества или количеств, представляющих интерес, формирует некоторую модель (такую как значения параметров), основанную на некотором предшествующем распределении для соответствующих неизвестных параметров и вероятности из модели.

то есть из модели распределения некоторой формы, и предшествующего , кто-то может попытаться получить апостериорный . $f(X_i|\mathbf{\theta})$ $p(\mathbf{\theta})$ $p(\mathbf{\theta}|\mathbf{X})$

Простой пример байесовской модели обсуждается в этом вопросе и в комментариях к этому - байесовская линейная регрессия, более подробно обсуждаемая в Википедии здесь . Поиски приводят к обсуждению ряда байесовских моделей здесь.

Но есть и другие вещи, которые можно попытаться сделать с помощью байесовского анализа, помимо простого подбора модели - см., Например, байесовскую теорию принятия решений.

— Glen_b - Восстановить Монику
источник

В линейной регрессии здесь равен вектору ? Если нет, то что это?

θ

$\theta$

[β_{0}, β_{1}, . . ., β_{n}]

$[\beta_0, \beta_1, ..., \beta_n]$

— BCLC

1

@BCLC Также обычно включает .

σ

$\sigma$

— Glen_b

1

@BCLC Похоже, вы путаете частые и байесовские выводы. Байесовский умозаключение фокусируется на тех количествах, которые вас интересуют. Если вас интересуют параметры (например, умозаключения о конкретных коэффициентах), идея состоит в том, чтобы искать апостериорные распределения [параметры | данные]. Если вас интересует функция среднего ( ), то вы должны искать апостериорное распределение для этого (которое, конечно, является функцией (многомерного) распределения ). Вы можете использовать OLS в своих оценках, но параметры апостериора будут смещены к предыдущему ...

μ_{Y} | X

$\mu_Y|X$

β

$\mathbb{\beta}$

— Glen_b

1

... см. страницу Википедии о Байесовской регрессии и некоторые обсуждения здесь на CV

— Glen_b

1

Это вычисление иногда возникает (как вы его называете или ) по разным причинам. Мой предыдущий комментарий никоим образом не противоречит этим расчетам. (или эквивалентно или ) является параметром, и вам придется иметь дело с ним вместе с другими параметрами. Тем не менее, пока вы редко узнаете ; например, если вы делаете выборку по Гиббсу, условные условия будут актуальны. Если вы просто хотите сделать вывод о , вы бы интегрировали (или т. Д.) Из а не из условия на .

σ^{2}

$\sigma^2$

ϕ

$\phi$

σ

$\sigma$

σ^{2}

$\sigma^2$

ϕ

$\phi$

σ

$\sigma$

β

$\beta$

σ

$\sigma$

σ^{2}

$\sigma^2$

θ | y

$\theta|y$

σ

$\sigma$

— Glen_b

11

Байесовская модель - это просто модель, которая черпает свои выводы из апостериорного распределения, т.е. использует предварительное распределение и вероятность, которые связаны теоремой Байеса.

— Sycorax говорит восстановить Монику
источник

7

Можно ли назвать модель, в которой используется теорема Байеса, «байесовской моделью»?

нет

Боюсь, такое определение может быть слишком широким.

Вы правы. Теорема Байеса - это законная связь между предельными вероятностями событий и условными вероятностями. Это верно независимо от вашей интерпретации вероятности.

Так что же такое байесовская модель?

Если вы используете предшествующие и последующие концепции в любом месте своей экспозиции или интерпретации, то вы, скорее всего, будете использовать модель Байеса, но это не абсолютное правило, поскольку эти концепции также используются в небайесовских подходах.

В более широком смысле вы должны согласиться на байесовскую интерпретацию вероятности как субъективного убеждения. Эта небольшая теорема Байеса была расширена и распространена некоторыми людьми на всю эту картину мира и даже, скажем так, философию . Если вы принадлежите к этому лагерю, значит вы байесовец. Байес понятия не имел, что это случится с его теоремой. Он будет в ужасе, я думаю.

— Аксакал
источник

4

Похоже, что это первый ответ, который вводит важный момент, сделанный в его первой строке: простое использование теоремы Байеса не превращает что-то в байесовскую модель. Я хотел бы призвать вас идти дальше с этой мыслью. Вы, кажется, отступаете, когда говорите, что «использование предыдущих и последующих концепций» делает модель байесовской. Разве это не равносильно повторному применению теоремы Байеса? Если нет, не могли бы вы объяснить, что вы подразумеваете под «понятиями» в этом отрывке? В конце концов, в классической (не байесовской) статистике используются априоры и постеры, чтобы доказать допустимость многих процедур.

— 29uber

@ whuber, это было больше похоже на простое правило. Всякий раз, когда я вижу «предыдущий» в статье, он оказывается или претендует на то, чтобы быть с байесовской точки зрения. Я проясню свою точку зрения, хотя.

— Аксакал

5

Статистическую модель можно рассматривать как процедуру / историю, описывающую, как появились некоторые данные. Байесовская модель - это статистическая модель, в которой вы используете вероятность для представления всей неопределенности в модели, как неопределенности в отношении выходных данных, так и неопределенности в отношении входных данных (или параметров) для модели. За этим следует вся предшествующая / апостериорная / теорема Байеса, но, по моему мнению, использование вероятности для всего является тем, что делает его байесовским (и действительно, лучшим словом, возможно, будет просто что-то вроде вероятностной модели ).

Это означает, что большинство других статистических моделей можно «преобразовать» в байесовскую модель, изменив их так, чтобы они повсеместно использовали вероятность. Это особенно верно для моделей, которые полагаются на максимальное правдоподобие, так как подгонка модели с максимальным правдоподобием является строгим подмножеством подбора байесовской модели.

— Расмус Батх
источник

MLE используется и был разработан вне байесовской модели, поэтому не очень понятно, что вы подразумеваете под «строгим подмножеством байесовской модели».

— Аксакал

С байесовской точки зрения MLE - это то, что вы получаете, когда принимаете плоские априорные значения, подбираете модель и используете наиболее вероятную конфигурацию параметров в качестве точечной оценки. Является ли это частным случаем байесовской «философии статистики», я оставляю обсуждение другим, но это, безусловно, частный случай подбора байесовской модели.

— Расмус Батх

Проблема с этим утверждением состоит в том, что у него создается впечатление, что вам нужно подписаться на какое-то байесовское мышление, чтобы использовать MLE.

— Аксакал

1

Я не уверен, что ты имеешь в виду. IMO: вам не нужно подписываться на байесовское мышление при использовании байесовской статистики больше, чем нужно подписываться на матричное мышление при линейной алгебре или гауссово мышление при использовании нормального распределения. Я также не говорю , что MLE имеет следует интерпретировать как подмножество байесовской модели фитинга (даже если она падает довольно естественно для меня).

— Расмус Батх

3

Ваш вопрос больше касается семантической стороны: когда я могу назвать модель "байесовской"?

Делая выводы из этой превосходной статьи:

Fienberg, SE (2006). Когда байесовский вывод стал «байесовским»? Байесовский анализ, 1 (1): 1-40.

есть 2 ответа:

Ваша модель в первую очередь байесовская, если она использует правило Байеса (это «алгоритм»).
В более широком смысле, если вы выводите (скрытые) причины из порождающей модели вашей системы, то вы байесовские (это «функция»).

Удивительно, но терминология «Байесовских моделей», которая используется повсеместно, появилась лишь в 60-х годах. Есть много вещей, которые можно узнать о машинном обучении, просто взглянув на его историю!

— meduz
источник

Вы, кажется, упоминаете только один из двух ответов. Может, напишите что-нибудь об обоих?

— Тим

спасибо за примечание, я отредактировал свой ответ, чтобы отделить 2 части моего предложения.

— meduz