Как смоделировать смещенную монету с изменяющимся во времени смещением?

Модели смещенных монет обычно имеют один параметр . Один из способов оценить по серии тиражей - использовать предварительное бета-тестирование и вычислить апостериорное распределение с биномиальной вероятностью. $\theta = P(\text{Head} | \theta)$ $\theta$

В моих настройках из-за какого-то странного физического процесса свойства моей монеты медленно меняются, и становится функцией времени . Мои данные представляют собой набор упорядоченных черпает ИЭ . Я могу считать, что у меня есть только одна ничья для каждого на сетке дискретного и регулярного времени. $\theta$ $t$ $\{H,T,H,H,H,T,...\}$ $t$

Как бы вы смоделировали это? Я думаю о чем-то вроде фильтра Калмана, адаптированного к тому факту, что скрытая переменная равна и сохраняет биномиальную вероятность. Что я мог бы использовать для моделирования чтобы сделать вывод выводимым? $\theta$ $P(\theta(t+1)|\theta(t))$

Отредактируйте следующие ответы (спасибо!) : Я хотел бы смоделировать как цепь Маркова порядка 1, как это делается в фильтрах HMM или Kalman. Единственное предположение, которое я могу сделать, это то, что является гладким. Я мог бы написать с небольшим гауссовским шумом (идея фильтра Калмана), но это нарушило бы требование, чтобы оставалось в $\theta(t)$ $\theta(t)$ $P(\theta(t+1)|\theta(t)) = \theta(t) + \epsilon$ $\epsilon$ $\theta$ . Следуя идее @J Dav, я мог бы использовать функцию пробита, чтобы отобразить действительную линию на , но у меня есть интуиция, что это даст неаналитическое решение. Бета-распределение со средним значением и более широкой дисперсией может помочь. $[0,1]$ $[0,1]$ $\theta(t)$

Я задаю этот вопрос, так как у меня такое ощущение, что эта проблема настолько проста, что, должно быть, ее уже изучали раньше.

time-series bayesian kalman-filter

— repied2
источник

Вы можете получить оценку, если у вас есть модель того, как пропорция успеха меняется со временем. Многие различные модели будут работать, и оценки могут сильно различаться в зависимости от предполагаемой модели. Я не думаю, что управляемость является практическим критерием выбора модели. Я хотел бы понять процесс и найти модель, которая демонстрирует характеристику, которая соответствует ожидаемому поведению.

— Майкл Р. Черник

@MichaelChernick: Спасибо. Единственное предположение, которое я могу сделать, это то, что

движется плавно и медленно. Более того, возможность отслеживания является важным критерием, поскольку я действительно хочу расширить решение для многомерного случая с нетривиальными взаимозависимостями. Идеальным решением было бы аналитическое и оперативное обновление оценок параметров при поступлении новых данных.

θ

$\theta$

— ответил2

Можете ли вы дать количественную оценку того, что вы подразумеваете под "

движется плавно и медленно?" Целые числа являются дискретными, и есть гладкие функции, которые принимают произвольные значения на целых числах, что означает, что гладкость не дает ограничений. Некоторые понятия «медленно» до сих пор не дают никаких ограничений, в то время как другие делают.

θ

$\theta$

— Дуглас Заре

Насколько быстро «медленно», как изменение вероятности на 0,1 / единицу времени или на 0,001 или ... И как долго вы ожидаете получить последовательность? Является ли диапазон относительно узким (например, 0,2-0,4) или близок к (0,1)?

— Jbowman

@DouglasZare Под «гладким» я хотел заявить, что E [θ_t + 1 | θ_t] = θ_t (или очень близко) и VAR (θ_t + 1 | θ_t) мало. θ не прыгает (иначе ничего не поделаешь).

— ответил2

Ответы:

Я сомневаюсь, что вы можете придумать модель с аналитическим решением, но вывод по-прежнему можно сделать возможным, используя правильные инструменты, поскольку структура зависимостей вашей модели проста. Как исследователь машинного обучения, я бы предпочел использовать следующую модель, так как вывод можно сделать довольно эффективным, используя технику распространения ожиданий:

$X(t)$ $t$

$\eta(t+1) \sim \mathcal{N}(\eta(t), \tau^2)$ $t \geq 0$

$\eta(t)$ $X(t)$

$Y(t) \sim \mathcal{N}(\eta(t), \beta^2)$

$X(t)$

$X(t) = 1$ $Y(t) \geq 0$ $X(t) = 0$ $Y(t)$ $\mathbb{P}[X(t)=1] = \Phi(\eta(t)/\beta)$ $\Phi$ $\theta(t) = \eta(t)/\beta$

Если вы заинтересованы в реализации алгоритма логического вывода, взгляните на эту статью . Они используют очень похожую модель, поэтому вы можете легко адаптировать алгоритм. Для понимания EP следующая страница может оказаться полезной. Если вы заинтересованы в реализации этого подхода, дайте мне знать; Я могу дать более подробный совет о том, как реализовать алгоритм вывода.

— d_ijk_stra
источник

$_0$ $_0$ $_0$

— Майкл Р. Черник
источник

t

$t$

θ (t)

$\theta(t)$

θ (t)

$\theta(t)$

t h e t a (t)

$theta(t)$

@pierre Хорошо, перед редактированием оказалось, что вы пытались оценить изменяющееся по времени p и просто предлагали HMM в качестве возможного подхода. Я не рекомендовал функциональную форму для того, как она меняется с т. Я подчеркивал, что без дополнительной информации можно построить много моделей различных типов, и мои два примера должны были показать, что без дополнительной информации выбор моделей может дать очень разные ответы. Почему вы настаиваете на HMM? Если один работал и установить данные , почему отклонять, потому что это «неаналитический.

— Майкл Р. Chernick

Я полагаю, что поиск удобных решений не является способом решения практических статистических задач!

— Майкл Р. Черник

@MichaelChernick Наконец: я хотел бы найти аналитическое решение, так как я надеюсь, что это известная проблема, и люди предложили достаточно гибкое аналитическое решение. Но я согласен с нашим предположением, что моделирование «реальной динамики» важнее, чем вычислительные затраты в целом. К сожалению, это для больших данных, и медленный алгоритм будет бесполезен :-(

— repied2

$t$ $p$

$p=\Phi(g(t,\theta))$ $g(t,\theta)$ $\Phi$

$\Phi$ $g()$ $g()$

Чтобы ответить на ваш переизданный вопрос:

Как вы сказали, использование пробита подразумевает только численные решения, но вместо этого вы можете использовать логистическую функцию:

$P[\theta(t+1)] = \frac{1}{1+\exp{(\theta(t)+\epsilon)}}$

$\log{\frac{P}{1-P}} = \theta(t)+\epsilon$

$\theta(t+1)=a t^3 +bt^2+ct + d$ $\epsilon$ $\epsilon$

$P[Coin_{t+1}=H | t] = \frac{1}{1+\exp{(\theta(t))}}$

$\epsilon$ $t$

— JDav
источник

Если вы используете пробит, многовариантное расширение является простым, так как многомерный пробит может быть оценен. Зависимости будут подразумеваться ковариационной матрицей подразумеваемого многомерного нормального распределения.

— JDav