Статистика и большие данные mcmc

3

Почему гамильтонова динамика лучше, чем предложение случайного блуждания в MCMC в некоторых случаях?

Гамильтонова динамика всегда превосходит случайное блуждание в алгоритме Метрополиса в некоторых случаях. Может ли кто-нибудь объяснить причину простыми словами без особой математики?

10 mcmc

2

Как сделать выборку из дискретного распределения по неотрицательным целым числам?

У меня есть следующее дискретное распределение, где - известные константы:α,βα,β\alpha,\beta p(x;α,β)=Beta(α+1,β+x)Beta(α,β)for x=0,1,2,…p(x;α,β)=Beta(α+1,β+x)Beta(α,β)for x=0,1,2,… p(x;\alpha,\beta) = \frac{\text{Beta}(\alpha+1, \beta+x)}{\text{Beta}(\alpha,\beta)} \;\;\;\;\text{for } x = 0,1,2,\dots Каковы некоторые подходы для эффективной выборки из этого распределения?

10 sampling mcmc computational-statistics importance-sampling rejection-sampling

2

Является ли выборка на основе цепей Маркова «лучшей» для выборки Монте-Карло? Существуют ли альтернативные схемы?

Марковская цепь Монте-Карло - это метод, основанный на цепях Маркова, который позволяет нам получать выборки (в условиях Монте-Карло) из нестандартных распределений, из которых мы не можем напрямую брать выборки. Мой вопрос заключается в том, почему цепь Маркова является «современной» для отбора проб Монте-Карло. Альтернативный вопрос может быть, есть ли другие …

10 sampling mcmc monte-carlo markov-chain stochastic-approximation

3

Winbugs и другие MCMC без информации для предварительного распространения

Что происходит, когда у вас нет представления о распределении параметров? Какой подход мы должны использовать? В большинстве случаев мы стремимся недооценивать, влияет ли определенная переменная на наличие / отсутствие определенного вида, и принимается или нет переменная в соответствии с важностью переменной. Это означает, что в большинстве случаев мы не думаем …

10 r bayesian mcmc bugs winbugs

1

R линейная регрессия категориальной переменной «скрытое» значение

Это всего лишь пример, с которым я сталкивался несколько раз, поэтому у меня нет примеров данных. Запуск модели линейной регрессии в R: a.lm = lm(Y ~ x1 + x2) x1является непрерывной переменной x2является категориальным и имеет три значения, например, «Низкий», «Средний» и «Высокий». Однако вывод, заданный R, будет выглядеть примерно …

10 r regression categorical-data regression-coefficients categorical-encoding machine-learning random-forest anova spss r self-study bootstrap monte-carlo r multiple-regression partitioning neural-networks normalization machine-learning svm kernel-trick self-study survival cox-model repeated-measures survey likert correlation variance sampling meta-analysis anova independence sample assumptions bayesian covariance r regression time-series mathematical-statistics graphical-model machine-learning linear-model kernel-trick linear-algebra self-study moments function correlation spss probability confidence-interval sampling mean population r generalized-linear-model prediction offset data-visualization clustering sas cart binning sas logistic causality regression self-study standard-error r distributions r regression time-series multiple-regression python chi-squared independence sample clustering data-mining rapidminer probability stochastic-processes clustering binary-data dimensionality-reduction svd correspondence-analysis data-visualization excel c# hypothesis-testing econometrics survey rating composite regression least-squares mcmc markov-process kullback-leibler convergence predictive-models r regression anova confidence-interval survival cox-model hazard normal-distribution autoregressive mixed-model r mixed-model sas hypothesis-testing mediation interaction

4

Учитывая цепочку 10D MCMC, как я могу определить ее апостериорные моды в R?

Вопрос: С 10-мерной цепочкой MCMC, скажем, я готов передать вам матрицу розыгрышей: 100 000 итераций (строк) по 10 параметрам (столбцам), как лучше всего определить апостериорные моды? Я особенно обеспокоен несколькими режимами. Фон:Я считаю себя статистически подкованным статистиком, но когда коллега задал мне этот вопрос, мне стало стыдно, что я не …

10 r bayesian mcmc k-nearest-neighbour mode

1

Гамильтониан Монте-Карло: как понять предложение Метрополиса-Хастинга?

Я пытаюсь понять внутреннюю работу гамильтониана Монте-Карло (HMC), но не могу полностью понять ту часть, когда мы заменяем детерминистическую интеграцию времени предложением Метрополиса-Хастинга. Я читаю замечательную вводную статью Майкла Бетанкура « Концептуальное введение в гамильтониан Монте-Карло », поэтому я буду следовать той же записи, что и в ней. Фон Общая …

9 mcmc monte-carlo hmc

1

MCMC / EM ограничения? MCMC над EM?

В настоящее время я изучаю иерархические байесовские модели, используя JAGS из R, а также pymc, используя Python ( «Байесовские методы для хакеров» ). Я могу получить некоторую интуицию из этого поста : «в итоге вы получите кучу чисел, которые выглядят так, словно« вам каким-то образом удалось взять независимые сэмплы из …

9 bayesian mcmc expectation-maximization

2

Определение точки переключения с вероятностным программированием (pymc)

В настоящее время я читаю "книгу" вероятностного программирования и байесовских методов для хакеров . Я прочитал несколько глав, и я думал о первой главе, где первый пример с pymc состоит из обнаружения точки ведьмы в текстовых сообщениях. В этом примере случайная величина, указывающая, когда происходит точка переключения, указывается с помощью …

9 probability mcmc pymc change-point

2

Путаница, связанная с выборкой Гиббса

Я наткнулся на эту статью, где говорится, что в выборке Гиббса принимается каждый образец. Я немного смущен. Как получится, если каждый принятый образец сходится к стационарному распределению. В общем Алгоритм Метрополиса мы принимаем как min (1, p (x *) / p (x)), где x * - точка выборки. Я предполагаю, …

9 mcmc gibbs metropolis-hastings

4

(взаимодействующий) MCMC для мультимодального заднего

Я пытаюсь сэмплировать задний план, имеющий много режимов, особенно далеко друг от друга, используя MCMC. Похоже, что в большинстве случаев только один из этих режимов содержит 95% hpd, который я ищу. Я пытался реализовать решения, основанные на умеренном моделировании, но это не дает удовлетворительных результатов, поскольку на практике переход от …

9 sampling mcmc inference convergence

1

Создание марковской модели максимальной энтропии из существующего классификатора максимальной энтропии с несколькими входами

Я заинтригован концепцией модели максимальной энтропии Маркова (MEMM), и я думаю об использовании ее для тегера части речи (POS). В настоящее время я использую традиционный классификатор Maximum Entropy (ME), чтобы пометить каждое отдельное слово. При этом используется ряд функций, в том числе два предыдущих тега. MEMM используют алгоритм Витерби, чтобы …

9 machine-learning mcmc maximum-entropy memm

3

Показатели приемки для Метрополис-Гастингс с равномерным распределением кандидатов

При использовании алгоритма Метрополис-Гастингс с равномерным распределением кандидатов, какова причина того, что показатели приемлемости составляют около 20%? Мое мышление таково: если истинные (или близкие к истинным) значения параметров обнаружены, то новый набор значений параметров-кандидатов из одного и того же равномерного интервала не увеличит значение функции правдоподобия. Поэтому, чем больше итераций …

9 bayesian estimation sampling mcmc

2

Рассчитать кривую ROC для данных

Итак, у меня есть 16 испытаний, в которых я пытаюсь идентифицировать человека по биометрической характеристике, используя расстояние Хэмминга. Мой порог установлен на 3,5. Мои данные ниже, и только пробная версия 1 является истинным положительным результатом: Trial Hamming Distance 1 0.34 2 0.37 3 0.34 4 0.29 5 0.55 6 0.47 …

9 mathematical-statistics roc classification cross-validation pac-learning r anova survival hazard machine-learning data-mining hypothesis-testing regression random-variable non-independent normal-distribution approximation central-limit-theorem interpolation splines distributions kernel-smoothing r data-visualization ggplot2 distributions binomial random-variable poisson-distribution simulation kalman-filter regression lasso regularization lme4-nlme model-selection aic r mcmc dlm particle-filter r panel-data multilevel-analysis model-selection entropy graphical-model r distributions quantiles qq-plot svm matlab regression lasso regularization entropy inference r distributions dataset algorithms matrix-decomposition regression modeling interaction regularization expected-value exponential gamma-distribution mcmc gibbs probability self-study normality-assumption naive-bayes bayes-optimal-classifier standard-deviation classification optimization control-chart engineering-statistics regression lasso regularization regression references lasso regularization elastic-net r distributions aggregation clustering algorithms regression correlation modeling distributions time-series standard-deviation goodness-of-fit hypothesis-testing statistical-significance sample binary-data estimation random-variable interpolation distributions probability chi-squared predictor outliers regression modeling interaction

1

Могу ли я подвыбор большого набора данных на каждой итерации MCMC?

Проблема: я хочу выполнить выборку Гиббса, чтобы вывести некоторую апостериорную часть по большому набору данных. К сожалению, моя модель не очень проста, поэтому выборка слишком медленная. Я бы рассмотрел вариационные или параллельные подходы, но прежде чем идти так далеко ... Вопрос: Я хотел бы знать, мог ли бы я случайно …

8 sampling bootstrap mcmc large-data gibbs

Вопросы с тегом «mcmc»