Скрытая марковская модель для прогнозирования событий

Вопрос : Является ли установка ниже разумной реализации скрытой марковской модели?

У меня есть набор данных 108,000наблюдений (взятых в течение 100 дней) и приблизительно 2000событий на протяжении всего периода наблюдения. Данные выглядят как на рисунке ниже, где наблюдаемая переменная может принимать 3 дискретных значения а красные столбцы выделяют время события, т.е. :$[1,2,3]$$t_E$

Как показано на рисунке красными прямоугольниками, я { to } для каждого события, эффективно рассматривая их как «окна до события».$t_E$$t_{E-5}$

Тренировка HMM: я планирую тренировать скрытую марковскую модель (HMM), основанную на всех «окнах перед событием», используя методологию множественных последовательностей наблюдений, как предложено на стр. 273 из бумаги Рабинера . Надеюсь, это позволит мне обучить HMM, который фиксирует шаблоны последовательности, которые приводят к событию.

Предсказание HMM: Затем я планирую использовать этот HMM для прогнозирования на новый день, где будут представлять собой вектор скользящего окна, обновляемый в режиме реального времени, чтобы содержать наблюдения между текущим временем и как день продолжается.$log[P(Observations|HMM)]$$Observations$$t$$t-5$

Я ожидаю увидеть увеличение для которые напоминают «окна перед событием». По сути, это должно позволить мне прогнозировать события до того, как они произойдут.$log[P(Observations|HMM)]$$Observations$

Одна из проблем с подходом, который вы описали, заключается в том, что вам необходимо определить, какое увеличение имеет смысл, что может быть затруднительно, так как P ( O ) всегда будет очень маленьким в целом. Может быть лучше обучить два НММ, например НММ1 для последовательностей наблюдения, где происходит интересующее событие, и НММ2 для последовательностей наблюдения, где событие не происходит. Тогда, учитывая последовательность наблюдений O, вы получаете P ( H H M 1 | O $P(O)$$P(O)$$O$ а также для HMM2. Тогда вы можете предсказать, что событие произойдет, если P ( H M M 1 | O

Отказ от ответственности : то, что следует, основано на моем личном опыте, поэтому принимайте его таким, какое оно есть. Одна из приятных особенностей HMM - они позволяют вам иметь дело с последовательностями переменной длины и эффектами переменного порядка (благодаря скрытым состояниям). Иногда это необходимо (как во многих приложениях НЛП). Однако кажется, что вы априори предположили, что только последние 5 наблюдений имеют отношение к прогнозированию интересующего события. Если это предположение реалистично, то вам может быть значительно больше удачи, если использовать традиционные методы (логистическая регрессия, наивный байесовский анализ, SVM и т. Д.) И просто использовать последние 5 наблюдений в качестве признаков / независимых переменных. Как правило, эти типы моделей легче обучать и (по моему опыту) дают лучшие результаты.