Марковские цепи против HMM

Марковские цепочки имеют для меня смысл, я могу использовать их для моделирования вероятностных изменений состояния в реальных жизненных задачах. Затем приходит HMM. Говорят, что HMM более подходят для моделирования многих проблем, чем MC. Однако проблемы, о которых упоминают люди, довольно сложны для понимания, такие как обработка речи. Итак, мой вопрос: вы можете описать «реальную и простую» проблему, для которой HMM лучше подходит, чем MC? а объяснить почему? Спасибо

Распознавание речи не такой сложный пример, как вы думаете.

Во-первых, представьте себе создание цепочки Маркова (MC), которая распознает текст. Ваша программа читает кучу (без ошибок) текста и вычисляет состояния (слова) и изменения состояний (следующие слова). Похоже, вы поняли это. Теперь вы можете сгенерировать текст, или с помощью некоторого текста предсказать следующее слово, используя состояния и вероятности перехода вашего MC.

Теперь представьте, что вы хотите использовать свой MC с речью. Вы просто попросите людей прочитать текст, похожий на ваш MC, и все готово, верно? Ну ... За исключением того, что они будут произносить слова по-другому: там, где в письменном тексте написано "картошка", вы на самом деле услышите "по-та-то" и "по-та-то" и "пу-тай" -в "и т. д. И наоборот: текст" ели "и" восемь "представляют два разных состояния, но (как правило) произносится как одно и то же.

Ваш алгоритм больше не видит базовые состояния (слова), он видит вероятностное распределение произношения для каждого слова. Ваш оригинальный MC скрыт за произношением, и теперь ваша модель должна быть двухслойной.

Таким образом, вы могли бы заставить много людей читать вслух текст, который вы использовали для первоначального обучения, вы могли бы получить распределение для произношения для каждого слова, а затем объединить вашу исходную модель с моделью произношения, и у вас есть скрытая модель Маркова ( HMM).

Большинство реальных проблем будут такими, поскольку реальный мир имеет тенденцию быть шумным. Вы на самом деле не будете знать, в каком состоянии находится что-то. Вместо этого вы получите различные индикаторы для каждого состояния: иногда один и тот же индикатор для разных состояний («съел» и «восемь»), а иногда разные индикаторы для одного и того же состояния. ("ПУ-ТАЙ-НОУ" и "ПУ-ТА-ТУ"). Следовательно, HMM больше подходят для реальных проблем.

[Два примечания: 1) фактическое распознавание речи работает на уровне фонем, а не на уровне слов, и 2) я считаю, что HMM были королем холма для распознавания речи, но недавно были свергнуты глубокими нейронными сетями.]

По сути, HMM - это марковская модель, в которой состояние не является полностью наблюдаемым, скорее оно наблюдается только косвенно через некоторые шумные наблюдения. Модельная часть Маркова - это простой способ навязать временные зависимости в государстве. Соответственно, проблемы, в которых полезны НММ, - это те, в которых состояние следует марковской модели, но вы не наблюдаете состояние напрямую.

Есть несколько вещей, которые вы можете сделать с HMM. Одна полезная вещь, которую вы можете сделать, заключается в следующем - учитывая ряд шумных наблюдений до настоящего времени, возможно, вы хотите знать, каково наиболее вероятное текущее состояние системы. Для этого вы должны соответствующим образом объединить структуру цепи Маркова с наблюдениями, чтобы вывести состояние. Точно так же вы можете расширить это, чтобы вывести всю последовательность состояний из последовательности наблюдений ( это стандартно).

В науке и технике эта модель используется постоянно. Например, возможно, вы записываете видео простого животного типа c. Элеганс(червь), и он имеет только небольшое количество отдельных поведенческих состояний. Из видео вы хотите пометить каждый кадр поведенческим состоянием животного. Из одного кадра алгоритм маркировки имеет некоторую ошибку / шум. Тем не менее, существуют также временные зависимости, которые можно смоделировать с помощью цепи Маркова ... Если в одном кадре животное находилось в одном состоянии, оно, вероятно, будет в том же состоянии для следующего кадра (и, возможно, некоторые состояния разрешают только переходы в некоторых других штатах). По сути, объединяя ваши зашумленные однокадровые наблюдения со структурой переходов (HMM), вы можете получить хорошо сглаженную и лучше ограниченную последовательность оценок состояния.

HMM - это модель смеси. Прямо как смесь гауссовой модели . Причина, по которой мы используем его в дополнение к цепочке Маркова, заключается в том, что он более сложен для сбора шаблонов данных.

Аналогично, если мы используем единый Gaussian для моделирования спорного переменной или мы используем смесь гауссовой модели непрерывной переменной.

Я бы использовал непрерывную переменную для демонстрации этой идеи: предположим, у нас есть эти данные

Лучше смоделировать это с 2 гауссами и с различной пропорцией. Что является «эквивалентным» в дискретном случае: мы строим HMM с двумя скрытыми состояниями.