Марковская модель - Markov model

В теории вероятностей , модель Маркова является вероятностная модель используется для моделирования псевдо-случайным образом изменяющихся систем. Предполагается, что будущие состояния зависят только от текущего состояния, а не от событий, которые произошли до него (то есть предполагается марковское свойство ). Как правило, это предположение позволяет проводить рассуждения и вычисления с помощью модели, которая в противном случае была бы неразрешимой . По этой причине в областях прогнозного моделирования и вероятностного прогнозирования желательно, чтобы данная модель проявляла марковское свойство.

Вступление

Существует четыре общих марковских модели, используемых в различных ситуациях, в зависимости от того, является ли каждое последовательное состояние наблюдаемым или нет, и должна ли система корректироваться на основе сделанных наблюдений:

Марковские модели
Состояние системы полностью наблюдаемо Состояние системы частично наблюдаемо
Система автономна Цепь Маркова Скрытая марковская модель
Система контролируется Марковский процесс принятия решений Частично наблюдаемый марковский процесс принятия решений

Цепь Маркова

Основная статья: цепь Маркова

Простейшая марковская модель - это цепь Маркова . Он моделирует состояние системы со случайной величиной, которая изменяется во времени. В этом контексте свойство Маркова предполагает, что распределение для этой переменной зависит только от распределения предыдущего состояния. Примером использования цепи Маркова является цепь Маркова Монте-Карло , которая использует свойство Маркова для доказательства того, что конкретный метод выполнения случайного блуждания будет выборкой из совместного распределения .

Скрытая марковская модель

Основная статья: Скрытая марковская модель

Скрытые марковские модели представляют собой цепь Маркова , для которой состояние является лишь частично наблюдаемым или наблюдаемым с шумом. Другими словами, наблюдения связаны с состоянием системы, но их обычно недостаточно для точного определения состояния. Существует несколько хорошо известных алгоритмов для скрытых марковских моделей. Например, для данной последовательности наблюдений алгоритм Витерби вычислит наиболее вероятную соответствующую последовательность состояний, прямой алгоритм вычислит вероятность последовательности наблюдений, а алгоритм Баума-Велча оценит начальные вероятности, переход функция и функция наблюдения скрытой марковской модели.

Одним из распространенных способов использования является распознавание речи , где наблюдаемые данные представляют собой звуковую волну речи, а скрытое состояние - это произносимый текст. В этом примере алгоритм Витерби находит наиболее вероятную последовательность произнесенных слов с учетом звука речи.

Марковский процесс принятия решений

Основная статья: Марковский процесс принятия решений

Процесс принятия Маркова представляет собой цепь Маркова , в котором переходы состояний зависят от текущего состояния и вектора действий , который применяется к системе. Обычно марковский процесс принятия решений используется для вычисления политики действий, которая максимизирует некоторую полезность в отношении ожидаемых вознаграждений.

Частично наблюдаемый марковский процесс принятия решений

Основная статья: Частично наблюдаемый марковский процесс принятия решений

Частично наблюдаемый марковский процесс принятия решения (POMDP) представляет собой процесс принятия Маркова , в которой только частично наблюдается состояние системы. Известно, что POMDP являются NP-полными , но недавние методы аппроксимации сделали их полезными для множества приложений, таких как управление простыми агентами или роботами.

Марковское случайное поле

Основная статья: Марковское случайное поле

Марковская сеть или сеть Маркова, может рассматриваться как обобщение цепи Маркова в нескольких измерениях. В цепи Маркова состояние зависит только от предыдущего состояния во времени, тогда как в случайном поле Маркова каждое состояние зависит от своих соседей в любом из нескольких направлений. Марковское случайное поле может быть визуализировано как поле или граф случайных величин, где распределение каждой случайной величины зависит от соседних переменных, с которыми она связана. Более конкретно, совместное распределение для любой случайной величины в графе может быть вычислено как произведение «потенциалов клик» всех клик в графе, которые содержат эту случайную величину. Моделирование проблемы в виде марковского случайного поля полезно, поскольку оно подразумевает, что совместные распределения в каждой вершине графа могут быть вычислены таким образом.

Иерархические марковские модели

Иерархические марковские модели могут применяться для категоризации человеческого поведения на различных уровнях абстракции. Например, ряд простых наблюдений, таких как местоположение человека в комнате, можно интерпретировать для определения более сложной информации, например, о том, какую задачу или действие выполняет человек. Два вида иерархических марковских моделей - это иерархическая скрытая марковская модель и абстрактная скрытая марковская модель. Оба использовались для распознавания поведения. а некоторые свойства условной независимости между разными уровнями абстракции в модели позволяют быстрее обучаться и делать выводы.

Толерантная марковская модель

Толерантная марковская модель (TMM) - это вероятностно-алгоритмическая модель цепи Маркова. Он присваивает вероятности в соответствии с условным контекстом, который рассматривает последний символ из последовательности, которая должна произойти, как наиболее вероятный вместо истинно встречающегося символа. TMM может моделировать три различных типа: замены, добавления или удаления. Успешные приложения были эффективно реализованы в сжатии последовательностей ДНК.

Модели прогнозирования цепей Маркова

Цепи Маркова использовались в качестве методов прогнозирования для нескольких тем, например, ценовых тенденций, энергии ветра и солнечного излучения. Модели прогнозирования цепей Маркова используют множество различных настроек, от дискретизации временных рядов до скрытых моделей Маркова в сочетании с вейвлетами и моделью распределения смеси цепей Маркова (MCM).

Смотрите также

использованная литература

  1. ^ a b Гагнюк, Пол А. (2017). Цепи Маркова: от теории к реализации и экспериментам . США, Нью-Джерси: John Wiley & Sons. С. 1–256. ISBN 978-1-119-38755-8.
  2. ^ Kaelbling, LP; Литтман, М.Л .; Кассандра, АР (1998). «Планирование и действия в частично наблюдаемых стохастических областях» . Искусственный интеллект . 101 (1–2): 99–134. DOI : 10.1016 / S0004-3702 (98) 00023-X . ISSN  0004-3702 .
  3. ^ Хорошо, S .; Певица Ю. (1998). «Иерархическая скрытая марковская модель: анализ и приложения» . Машинное обучение . 32 (1): 41–62. DOI : 10,1023 / A: 1007469218079 .
  4. ^ a b Bui, HH; Venkatesh, S .; Уэст, Г. (2002). «Признание политики в абстрактной скрытой марковской модели» . Журнал исследований искусственного интеллекта . 17 : 451–499. DOI : 10.1613 / jair.839 .
  5. ^ Theocharous, G. (2002). Иерархическое обучение и планирование в частично наблюдаемых марковских процессах принятия решений (PhD). Университет штата Мичиган.
  6. ^ Лур, S .; Bui, HH; Venkatesh, S .; Запад, GAW (2003). «Признание человеческой деятельности через иерархическое стохастическое обучение» . PERCOM '03 Труды первой международной конференции IEEE по повсеместным вычислениям и коммуникациям . С. 416–422. CiteSeerX  10.1.1.323.928 . DOI : 10,1109 / PERCOM.2003.1192766 . ISBN 978-0-7695-1893-0. S2CID  13938580 .
  7. ^ a b Pratas, D .; Hosseini, M .; Пинхо, AJ (2017). «Замещательно толерантные марковские модели относительного сжатия последовательностей ДНК». PACBB 2017 - 11-я Международная конференция по практическому применению вычислительной биологии и биоинформатики, Порту, Португалия . С. 265–272. DOI : 10.1007 / 978-3-319-60816-7_32 . ISBN 978-3-319-60815-0.
  8. ^ Пратас, Д .; Пинхо, AJ; Феррейра, PJSG (2016). «Эффективное сжатие геномных последовательностей». Конференция по сжатию данных (DCC), 2016 . IEEE. С. 231–240. DOI : 10.1109 / DCC.2016.60 . ISBN 978-1-5090-1853-6. S2CID  14230416 .
  9. ^ а б де Соуза э Сильва, EG; Легей, LFL; де Соуза и Сильва, EA (2010). «Прогнозирование динамики цен на нефть с использованием вейвлетов и скрытых марковских моделей» . Экономика энергетики . 32 .
  10. ^ a b Карпинон, А; Джорджио, М; Langella, R .; Теста, А. (2015). «Моделирование цепей Маркова для краткосрочного прогнозирования ветроэнергетики» . Исследование электроэнергетических систем . 122 : 152–158. DOI : 10.1016 / j.epsr.2014.12.025 .
  11. ^ a b Munkhammar, J .; ван дер Меер, DW; Виден, Дж. (2019). «Вероятностное прогнозирование временных рядов индекса ясного неба с высоким разрешением с использованием модели распределения смеси цепей Маркова». Солнечная энергия . 184 : 688–695. DOI : 10.1016 / j.solener.2019.04.014 .