Вопросы с тегом «markov-process»

У меня есть полный набор последовательностей (432 наблюдения, если быть точным) из 4 состояний : например,A−DA−DA-D Y=⎛⎝⎜⎜⎜⎜AB⋮BCA⋮CDA⋮ADC⋮DBA⋮AA−⋮BC−⋮A⎞⎠⎟⎟⎟⎟Y=(ACDDBACBAACA−−⋮⋮⋮⋮⋮⋮⋮BCADABA)Y=\left(\begin{array}{c c c c c c c} A& C& D&D & B & A &C\\ B& A& A&C & A&- &-\\ \vdots&\vdots&\vdots&\vdots&\vdots&\vdots&\vdots\\ B& C& A&D & A & B & A\\ \end{array}\right) РЕДАКТИРОВАТЬ : …

16 r  matlab  markov-process 

В чем разница между марковскими цепями и марковскими процессами? Я читаю противоречивую информацию: иногда определение основано на том, является ли пространство состояний дискретным или непрерывным, а иногда - на том, является ли время дискретным или непрерывным. Слайд 20 этого документа : Марковский процесс называется цепью Маркова, если пространство состояний дискретно, …

16 terminology  stochastic-processes  markov-process 

Мой основной вопрос: как бы вы пробовали неправильный дистрибутив? Имеет ли смысл пробовать неправильный дистрибутив? Здесь комментарии Сианя как бы касаются вопроса, но я искал некоторые подробности по этому поводу. Более конкретно для MCMC: Говоря о MCMC и читая статьи, авторы подчеркивают, что получили правильные апостериорные распределения. Есть знаменитая газета …

15 distributions  bayesian  mcmc  markov-process  improper-prior 

Я пытаюсь понять цепи Маркова, используя SAS. Я понимаю, что марковский процесс - это процесс, в котором будущее состояние зависит только от текущего состояния, а не от прошлого, и существует матрица перехода, которая фиксирует вероятность перехода из одного состояния в другое. Но тут я наткнулся на этот термин: цепь Маркова …

15 probability  simulation  mcmc  monte-carlo  markov-process 

Усиление обучения: введение. Второе издание, в процессе ., Ричард С. Саттон и Эндрю Дж. Барто (с) 2012, с. 67-68. Решение задачи обучения с подкреплением означает, грубо говоря, поиск политики, которая в конечном итоге приносит много пользы. Для конечных MDP мы можем точно определить оптимальную политику следующим образом. Функции значения определяют …

15 markov-process  reinforcement-learning 

Я читал несколько лекций, связанных с MCMC. Тем не менее, я не нашел хороший пример того, как он используется. Может ли кто-нибудь дать мне конкретный пример. Все, что я вижу, это то, что они управляют цепью Маркова и говорят, что ее стационарное распределение является желаемым распределением. Я хочу хороший пример, …

14 probability  bayesian  mcmc  markov-process 

Я ищу общий, чистый и быстрый (т. Е. Использующий подпрограммы C ++) R-пакет для имитации путей из неоднородной нелинейной диффузии типа (1) с использованием схемы Эйлера-Маруямы, схемы Мильштейна (или любой другой). Это предназначено для встраивания в больший код оценки и поэтому заслуживает оптимизации. dИксT= ф( θ , т , ХT)dт …

13 r  simulation  stochastic-processes  markov-process 

Каков будет общий способ оценки матрицы перехода MC с учетом временных рядов? Есть ли функция R для этого?

12 markov-process 

Я предполагаю, что понимаю уравнение условия детального баланса, в котором говорится, что для вероятности перехода и стационарного распределения π марковская цепь удовлетворяет подробному балансу, если q ( x | y ) π ( y ) = q ( y | x ) π ( х ) ,qqqππ\piq(x|y)π(y)=q(y|x)π(x),q(x|y)π(y)=q(y|x)π(x),q(x|y)\pi(y)=q(y|x)\pi(x), это имеет больше …

12 probability  mcmc  markov-process 

Я изо всех сил пытаюсь сделать математическую связь между нейронной сетью и графической моделью. В графических моделях идея проста: распределение вероятностей разлагается в соответствии с кликами на графике, причем потенциалы обычно имеют экспоненциальное семейство. Есть ли аналогичная аргументация для нейронной сети? Можно ли выразить распределение вероятности по единицам (переменным) в …

12 neural-networks  markov-process  graphical-model  deep-learning  deep-belief-networks 

У меня есть некоторые проблемы с пониманием неприводимого свойства цепочки Маркова . Говорят, что неприводимое означает, что случайный процесс может «перейти из любого состояния в любое состояние». Но что определяет, может ли он перейти из состояния в состояние или не может перейти?жiяijJj Страница википедии дает формализацию: Государство является доступным (написано …

12 stochastic-processes  markov-process 

У меня есть стохастическая модель, используемая для моделирования временных рядов какого-либо процесса. Меня интересует эффект изменения одного параметра на конкретное значение, и я хочу показать разницу между временными рядами (скажем, модель A и модель B) и своего рода доверительным интервалом, основанным на моделировании. Я просто запустил кучу симуляций из модели …

11 time-series  predictive-models  markov-process 

Я хотел бы решить Project Euler 213, но не знаю, с чего начать, потому что я непрофессионал в области статистики, обратите внимание, что требуется точный ответ, чтобы метод Монте-Карло не работал. Не могли бы вы порекомендовать мне некоторые темы статистики? Пожалуйста, не размещайте решение здесь. Блошиный цирк Сетка квадратов 30 …

11 self-study  monte-carlo  markov-process 

Учитывая (наблюдаемый) временные ряды с Й т ∈ { 1 , . , , , П } , есть статистический тест для проверки нуль-гипотезы , что Р ( Х т | Х т - 1 , Х т - 2 , . . . , X 1 ) = Р …

11 time-series  hypothesis-testing  markov-process 

В настоящее время я делаю анализ на веб-сайте, который требует, чтобы я создал схему дерева решений, показывающую вероятный маршрут, по которому люди идут, когда они приходят на веб-сайт. Я имею дело с a, data.frameкоторый показывает пути всех клиентов к сайту, начиная с домашней страницы. Например, клиент может выбрать следующий путь: …

10 r  probability  data-visualization  markov-process