Как выбрать приоритет в оценке байесовских параметров

Я знаю 3 метода оценки параметров, ML, MAP и байесовский подход. А для MAP и байесовского подхода нам нужно выбирать априоры для параметров, верно?

Скажем, у меня есть эта модель , в которой являются параметрами, чтобы выполнить оценку с использованием MAP или байесовского алгоритма, я прочитал в книге, что нам лучше выбрать сопряжение до , какая совместная вероятность , верно? $p(x|\alpha,\beta)$ $\alpha,\beta$ $p(\alpha,\beta)$ $\alpha,\beta$

У меня есть 2 вопроса:

Есть ли у нас другие варианты выбора, кроме этого сопряженного?
Можем ли мы выбрать априоры для и соответственно, такие как и , кроме как собрать их вместе в один? $\alpha$ $\beta$ $p(\alpha)$ $p(\beta)$

bayesian estimation prior

— авокадо
источник

В зависимости от того, какое программное обеспечение вы будете использовать, приоры, конечно, не обязательно должны быть сопряжены с функцией правдоподобия ... в первую очередь, вы должны убедиться, что ваши приоры отражают ваши прежние представления о распределении параметров

— Патрик Куломб,

Так что я мог бы просто выбрать приоры соответственно для параметров, верно? На самом деле я просто пытаюсь понять линейную регрессию Байса, без какого-либо специального программного обеспечения

— авокадо

Посмотрите предварительное выявление , например, здесь

— Scortchi - Восстановите Монику

Ответы:

Как указано в комментарии, предварительное распределение представляет собой предварительное мнение о распределении параметров.

Когда предыдущие убеждения действительно доступны, вы можете:

преобразуйте их в терминах моментов (например, среднего значения и дисперсии), чтобы соответствовать общему распределению этих моментов (например, гауссову, если ваш параметр лежит на реальной линии, гамму, если он лежит на ). $R^+$
используйте ваше интуитивное понимание этих убеждений, чтобы предложить данное предварительное распределение и проверить, действительно ли оно соответствует вашим целям и не является ли оно чувствительным к произвольному выбору (выполнение анализа надежности или чувствительности)

Когда нет явных предварительных убеждений, вы можете:

получить (или просто использовать, если он уже доступен, отличным ресурсом является http://www.stats.org.uk/priors/noninforrative/YangBerger1998.pdf ) Джеффриса (например, унифицированный для параметра местоположения) или предварительную ссылку (особенно в случай многомерных параметров).
$g$

$p(a,b)$ $p(a) \cdot p(b)$

позаботьтесь о том, чтобы ваш апостериал был интегрируемым почти везде (или надлежащим образом), что всегда верно, если вы используете интегрируемый априор (см. Должен ли байесовский апостериор быть правильным распределением? для более подробной информации),
ограничьте поддержку своего предшественника только в том случае, если вы очень уверены в границах поддержки (поэтому избегайте этого).
и наконец, что не менее важно, убедитесь (в большинстве случаев экспериментально), что ваш выбор предшествующего значения означает то, что вы хотите выразить. На мой взгляд, эта задача иногда является более важной. Никогда не забывал, что когда вы делаете вывод, априор ничего не значит сам по себе, вы должны учитывать апостериор (который является комбинацией априора и вероятности).

— peuhp
источник

Большое спасибо, не могли бы вы порекомендовать мне некоторые учебные материалы о том, как сделать этот вид байесовского вывода?

— авокадо

@loganecolss Не за что, я был немного потерян несколько месяцев назад, и этот пост - просто краткое изложение моей самостоятельной работы, и я рад, что он может помочь кому-то еще. Что касается вашего вопроса, что вы имеете в виду под «такого рода байесовским умозаключением»?

— Peuhp

Я также изучаю машинное обучение самостоятельно, я знал ML, но этот байесовский подход к оценке параметров является новым для меня, надеюсь, вы сможете показать мне некоторый материал для изучения байесовских оценок и умозаключений, ;-)

— авокадо

@loganecolss, Это хорошее резюме MLE, MAP и байесовского вывода. И эта ссылка дает хорошее резюме того, как включить до байесовского вывода для биномиального распределения.

— Жубарб

Незначительное уточнение: надлежащий априор представляет собой последовательный набор мнений о параметрах. Они не должны быть вашими убеждениями. Действительно, модели часто более убедительны, чем другие.

— конъюнктура

Существует также эмпирический байесовский. Идея состоит в том, чтобы настроить до данных:

{max}_{p (z)} \int p (D | z) p (z) d z

$\text{max}_{p(z)} \int p(\mathcal{D}|z)p(z) dz$

Хотя на первый взгляд это может показаться неудобным, на самом деле существуют отношения с минимальной длиной описания. Это также типичный способ оценки параметров ядра гауссовских процессов.

— bayerj
источник

Чтобы ответить на два вышеупомянутых вопроса напрямую:

У вас есть другие варианты выбора несопряженных априорных значений, отличных от сопряженных априорных. Проблема в том, что если вы выбираете несопряженные априоры, вы не можете сделать точный байесовский вывод (проще говоря, вы не можете получить апостериор в близкой форме). Скорее, вам нужно сделать приблизительный вывод или использовать методы выборки, такие как выборка Гиббса, выборка отклонения, MCMC и т. Д., Чтобы получить вашу апостериорную оценку. Проблема с методами отбора проб заключается в том, что интуитивно это похоже на то, чтобы нарисовать изображение слона в темноте, повторяя его прикосновение - вы можете быть предвзятым и неполным. Причина, по которой люди выбирают несопряженный приоритет, заключается в том, что при определенной вероятности вариант сопряженного предшествования довольно ограничен, или, если говорить, большинство несопряженных.
Да, вы определенно можете. Если α и β независимы, что является идеалистическим условием, вы можете вывести их совместное распределение по p (α) p (β). Если они не являются независимыми, вам может потребоваться выяснить условную вероятность и сделать интегральную для получения совместного распределения.

— talentcat
источник