Вопросы с тегом «prior»

Я просматривал литературу по регуляризации, и часто вижу абзацы, которые связывают регуляризацию L2 с априорным гауссианом и L1 с Лапласом с центром в нуле. Я знаю, как выглядят эти априорные значения, но я не понимаю, как это выражается, например, в весах в линейной модели. В L1, если я правильно понимаю, …

23 regression  bayesian  prior  regularization  laplace-distribution 

Мы знаем, что в случае правильного предварительного распределения, P(θ∣X)=P(X∣θ)P(θ)P(X)P(θ∣X)=P(X∣θ)P(θ)P(X)P(\theta \mid X) = \dfrac{P(X \mid \theta)P(\theta)}{P(X)} ∝P(X∣θ)P(θ)∝P(X∣θ)P(θ) \propto P(X \mid \theta)P(\theta) . Обычное обоснование этого шага состоит в том, что предельное распределение XXX , P(X)P(X)P(X) , является постоянным по отношению к θθ\theta и, таким образом, может быть проигнорировано при получении апостериорного …

22 distributions  bayesian  prior  posterior 

Если априор и вероятность сильно отличаются друг от друга, то иногда возникает ситуация, когда апостериор не похож ни на один из них. Посмотрите, например, эту картинку, которая использует нормальные распределения. Хотя это математически правильно, это, похоже, не соответствует моей интуиции - если данные не соответствуют моим убеждениям или данным, я …

21 bayesian  prior  posterior  likelihood 

Я использовал логарифмические нормальные распределения в качестве предыдущих распределений для параметров масштаба (для нормальных распределений, t-распределений и т. Д.), Когда у меня есть приблизительное представление о том, каким должен быть масштаб, но я хочу ошибиться, говоря, что я не знаю много об этом. Я использую это, потому что это использование …

21 distributions  bayesian  modeling  prior  maximum-entropy 

Может кто-нибудь объяснить, какова естественная интерпретация гиперпараметров LDA? ALPHAи BETAявляются параметрами распределения Дирихле для (по документу) темы и (по теме) словосочетания соответственно. Однако кто-то может объяснить, что значит выбирать большие значения этих гиперпараметров по сравнению с меньшими значениями? Означает ли это, что в документах должно быть какое-то предварительное убеждение с …

21 interpretation  prior  topic-models  hyperparameter 

Фон Одним из наиболее часто используемых слабых предшествующих отклонений является обратная гамма с параметрами (Gelman 2006) .α = 0,001 , β= 0,001αзнак равно0,001,βзнак равно0,001\alpha =0.001, \beta=0.001 Однако это распределение имеет 90% CI приблизительно .[ 3 × 1019, ∞ ][3×1019,∞][3\times10^{19},\infty] library(pscl) sapply(c(0.05, 0.95), function(x) qigamma(x, 0.001, 0.001)) [1] 3.362941e+19 Inf Исходя …

21 bayesian  multilevel-analysis  prior 

Я слышал, что Джейнс утверждает, что часто работающие работают с «неявным априором». Каковы или являются эти неявные приоры? Означает ли это, что модели для частых - все это особые случаи байесовских моделей, которые ждут своего появления?

20 bayesian  prior  posterior  frequentist 

В литературе я иногда натыкаюсь на замечание, что выбор априорных значений, которые зависят от самих данных (например, Zellners g-prior), можно подвергнуть критике с теоретической точки зрения. Где именно проблема, если предшествующее не выбрано независимо от данных?

18 bayesian  prior  hierarchical-bayesian 

Часто утверждают, что байесовский каркас имеет большое преимущество в интерпретации (по сравнению с частыми), потому что он вычисляет вероятность параметра с учетом данных - вместо как в Частые рамки. Все идет нормально.p ( x | θ )p(θ|x)p(θ|x)p(\theta|x)p(x|θ)p(x|θ)p(x|\theta) Но все уравнение основано на: p(θ|x)=p(x|θ).p(θ)p(x)p(θ|x)=p(x|θ).p(θ)p(x)p(\theta|x) = {p(x|\theta) . p(\theta) \over p(x)} выглядит …

18 bayesian  interpretation  prior  likelihood  posterior 

Хорошо известно, что линейная регрессия с штрафом эквивалентна нахождению оценки MAP с учетом гауссовского априорного коэффициента. Точно так же использование штрафа l 1 эквивалентно использованию распределения Лапласа в качестве предыдущего.l2l2l^2l1l1l^1 Нередко используют некоторую взвешенную комбинацию регуляризации и l 2 . Можно ли сказать, что это эквивалентно некоторому предварительному распределению по …

17 regression  bayesian  regularization  prior  elastic-net 

Я читал о «Джеффри до» в википедии: « Джеффри до» и видел, что после каждого примера описывается, как преобразование, стабилизирующее дисперсию, превращает «Джеффриса» в униформу. Например, для случая Бернулли говорится, что для монеты, которая является головой с вероятностью γ∈[0,1]γ∈[0,1]\gamma \in [0,1] , модель испытания Бернулли дает то, что для Джефриса …

17 bayesian  prior  jeffreys-prior 

Если у нас небольшой размер выборки, сильно ли повлияет предварительное распределение на последующее?

17 bayesian  sample-size  prior 

Робби Маккиллиам говорит в комментарии к этому сообщению: Следует отметить, что, с точки зрения частых, нет никаких причин, по которым вы не можете включить в модель предыдущие знания. В этом смысле представление «частых» проще: у вас есть только модель и некоторые данные. Нет необходимости отделять предшествующую информацию от модели Кроме …

17 bayesian  prior  regularization  frequentist 

Я ищу неинформативные приоры для бета-дистрибуции для работы с биномиальным процессом (Hit / Miss). Сначала я подумал об использовании которые генерируют равномерный PDF, или Джеффри до α = 0,5 , β = 0,5 . Но я на самом деле ищу априоры, которые оказывают минимальное влияние на последующие результаты, а затем …

17 bayesian  prior  beta-distribution  uninformative-prior 

Этот вопрос был вдохновлен двумя недавними взаимодействиями, которые у меня были: одно здесь, в резюме , другое на economics.se. Там, я отправил ответ на известный «Конверт парадокса» (заметьте, не как на «правильный ответ» , но в качестве ответа , вытекающих из конкретных предположений о структуре ситуации). Через некоторое время пользователь …

16 bayesian  mathematical-statistics  prior  theory  philosophical